Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende...

52
Evidencia de investigación en el sector humanitario UNA GUÍA PRÁCTICA

Transcript of Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende...

Page 1: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

Evidencia de investigacioacuten en el sector humanitarioUNA GUIacuteA PRAacuteCTICA

AGRADECIMIENTOS

Estamos muy agradecidos con quienes participaron en el evento Evidence Lounge en Ginebra Suiza en septiembre de 2017 durante el cual se analizoacute esta guiacutea proporcionaron comentarios sobre los primeros borradores de la Guiacutea o ambos Prisca Benelli (Save the Children) Kate Bingley (Christian Aid) Jonathan Breckon (Alliance for Useful Evidence) Alyoscia DOnofrio (Comiteacute Internacional de Rescate - IRC) Tarah Friend (Departamento de Desarrollo Internacional del Reino Unido - DfID) Tara Karul (Iniciativa Internacional para la Evaluacioacuten de Impacto - 3ie) Paul Knox-Clarke (Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria - ALNAP) Flurina Kuhn (Red de Ciencia e Innovacioacuten del Reino Unido) David Loquercio (Norma Humanitaria Esencial en materia de Calidad y Rendicioacuten de Cuentas - CHS) Tim Martineau (Escuela de Medicina Tropical de Liverpool - LSTM) Virginia Murray (Public Health England - PHE) Alice Obrecht (ALNAP) Aninia Nadig (Proyecto Esfera) Adina Rom (ETH Zurich) Rodolfo Rossi (Comiteacute Internacional de la Cruz Roja - CICR) Eva Svoboda (Instituto de Desarrollo de Ultramar - ODI y Grupo de Poliacuteticas Humanitarias - HPG) Pierluigi Testa (Terre des hommes) Erik Von Elm (Cochrane Suiza) y Karin Wendt (Humanitarian Exchange and Research Centre - HERE)

Ademaacutes las siguientes organizaciones contribuyeron con ejemplos (incluidos casos praacutecticos) y otro contenido 3ie ALNAP Christian Aid Evidence Aid Comiteacute Internacional de la Cruz Roja Comiteacute Internacional de Rescate Escuela de Medicina Tropical de Liverpool Escuela de Higiene y Medicina Tropical de Londres Instituto de Desarrollo de Ultramar Public Health England Save the Children y ShelterBox

FINANCIACIOacuteNLos fondos para este documentos fueron proporcionados por la Red de Ciencia e Innovacioacuten del Reino Unido (representada por la SIN Suiza Embajada Britaacutenica en Berna)

CORRESPONDENCIALa correspondencia referente a este documento se debe enviar a Karl Blanchet Director del Health in Humanitarian Crises Centre London School of Hygiene amp Tropical Medicine Tavistock Place Londres Reino Unido y Mike Clarke Director de investigacioacuten de Evidence Aid Centre for Public Health Queens University Belfast ICS Block A Royal Hospitals Belfast Reino Unido

Karl KarlBlanchetlshtmacuk Mike mclarkequbacuk

CITAEste documento se debe citar de la siguiente manera Blanchet K Allen C Breckon J Davies P Duclos D Jansen J Mthiyane H Clarke M (2018) Uso de la evidencia de investigacioacuten en el sector humanitario una guiacutea praacutectica Londres Reino Unido Evidence Aid Escuela de Higiene y Medicina Tropical de Londres y Nesta (Alliance for Useful Evidence)

AUTORESEste documento fue redactado por Karl Blancheta Claire Allenb Jonathan Breckonc Phil Daviesb Diane Duclosb Jeroen Jansenb Helen Mthiyanec y Mike Clarkeb (a Centro de Salud en Crisis Humanitarias Escuela de Higiene y Medicina Tropical de Londresb Evidence Aid c Nesta Alliance forUseful Evidence)

Foto de portada copy Patrick BrownUNICEFPanos Pictures

1 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Evidence Aid (wwwevidenceaidorg) defiende un enfoque basado en evidencia en el sector humanitario Su misioacuten es aliviar el sufrimiento y salvar vidas proporcionando la mejor evidencia disponible sobre la eficacia de la accioacuten humanitaria y facilitando su uso Evidence Aid ha desarrollado una gama de recursos que se encuentran disponibles de manera gratuita en su sitio web Estos incluyen revisiones sistemaacuteticas de intervenciones para desastres crisis humanitarias y otras emergencias graves Evidence Aid organiza eventos para promover el uso de la evidencia en el sector humanitario incluida una Semana de Evidencia Humanitaria anual que se celebra en noviembre en colaboracioacuten con el Centro de Medicina basada en la Evidencia de la Universidad de Oxford Reino Unido junto con Evidence Lounges Los Evidence Lounges reuacutenen a meacutedicos y miembros de la comunidad de investigacioacuten acadeacutemica para mejorar las colaboraciones y desarrollar maneras praacutecticas de utilizar la evidencia en el sector humanitario incluida esta guiacutea

El Centro de Salud en Crisis Humanitarias (httpcriseslshtmacuk) de la Escuela de Higiene y Medicina Tropical de Londres lleva a cabo investigacioacuten primaria y formacioacuten sobre salud puacuteblica en situaciones de crisis humanitaria en estrecha colaboracioacuten con agencias humanitarias internacionales y centros de investigacioacuten en paiacuteses afectados para abordar los desafiacuteos sanitarios criacuteticos

En 2018 se lanzoacute un programa de desarrollo de capacidades e investigacioacuten de cuatro antildeos RECAP y se ha enfocado en la toma de decisiones y la rendicioacuten de cuentas en la respuesta a crisis humanitarias y epidemias El proyecto RECAP tiene el respaldo de UK Research and Innovation como parte del Global Challenges Research Fund subvencioacuten nuacutemero ESP0108731 El Centro tambieacuten ofrece cursos para meacutedicos a traveacutes de moacutedulos sobre conflicto y salud cursos cortos y un MOOC gratuito sobre Salud en Situaciones de Crisis Humanitaria

Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) es una fundacioacuten para la innovacioacuten mundial con base en el Reino Unido Respalda nuevas ideas para afrontar los grandes desafiacuteos de nuestra eacutepoca desde las presiones del envejecimiento poblacional hasta los servicios puacuteblicos insuficientes y un mercado laboral en constante evolucioacuten Ha creado una serie de guiacuteas relativas al uso de evidencia para superar este desafiacuteo y esta publicacioacuten se basa en una de ellas laquoUsing Research Evidence A Practice Guideraquo (Uso de la evidencia de investigacioacuten una guiacutea praacutectica) Dicha guiacutea fue elaborada por el Equipo de Habilidades de Innovacioacuten de Nesta y la Alliance for Useful Evidence la presente guiacutea para el sector humanitario se desarrolloacute en consulta con ellos y agradecemos profundamente a Nesta por permitirnos utilizar algunos de sus contenidos

EL TRABAJO EN LA GUIacuteA FUE COORDINADO POR TRES ORGANIZACIONES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 2

INTRODUCCIOacuteN 4

iquestQuieacuten puede utilizar esta guiacutea 5Coacutemo usar esta guiacutea 5

SECTION A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten 6

iquestQueacute es la laquoevidenciaraquo y por queacute nos centramos en la investigacioacuten 7

El desafiacuteo de confiar uacutenicamente en la opinioacuten profesional 9

Mensajes clave de la Seccioacuten A 11

12

12

14

18

19

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidencia

Ciclo de respuesta humanitaria

Desarrollo y ejecucioacuten deuna nueva intervencioacuten

Adopcioacuten de ideas de otras regiones o sectores

Creacioacuten de una teoriacutea del cambio

Mensajes clave de la Seccioacuten B 19

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir 21

Parte 1 Diferentes tipos de meacutetodos disentildeos y enfoques de investigacioacuten 23

Investigacioacuten experimental iquestpor queacute tanto alboroto 28

Disentildeos de investigacioacuten experimental 28

Cuestiones praacutecticas y eacuteticas de los ensayos aleatorios 30

Cuando la aleatorizacioacuten no es posible o aceptable 30

Disentildeos cuasi-experimentales 30

Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten 32

32

34

35

35

35

37

37

39

39

40

41

41

iquestMerecioacute la pena El valorde los anaacutelisis de coste-beneficioy de coste-eficacia

Mensajes clave de la Parte 1 de la Seccioacuten C

Parte 2 iquestCoacutemo califica la calidad de la investigacioacuten

iquestCoacutemo ayuda la revisioacuten por pares a los responsables de la toma de decisiones

Definicioacuten de investigacioacuten de laquoalta calidadraquo

Investigacioacuten cualitativa de alta calidad

Evite laquoelegir a su antojoraquo usando revisiones sistemaacuteticas

Metaanaacutelisis

Diagramas de bosque

Evaluaciones raacutepidas de evidencia

La importancia de la repeticioacuten y la corroboracioacuten

Anaacutelisis de revisiones coacutemo evaluar los conjuntos de evidencia de alta calidad

Mensajes clave de la Parte 2 de la Seccioacuten C

42

SECCIOacuteN D iquestDoacutende debe buscar la evidencia 43

Buacutesqueda de evidencia de investigacioacuten 43

Fuentes de revisiones sistemaacuteticas y otras investigaciones para el sector humanitario 44

Mensajes clave de la Seccioacuten D 45

NOTAS FINALES

Referencias y notas finales 46

IacuteNDICE

3 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 4

La evidencia cuestiona lo que podriacuteamos pensar que es sentido comuacuten conocimiento percibido o recibido

Por ejemplo por mucho tiempo se creyoacute que la malnutricioacuten aguda severa requeriacutea un tratamiento especializado en centros de hospitalizacioacuten con productos terapeacuteuticos a pesar de que este modelo presentaba una serie de desafiacuteos para el tratamiento eficaz tanto para los sistemas de salud como para los pacientes A mediados de la deacutecada de 1990 se desarrollaron alimentos terapeacuteuticos listos para utilizar En 2000 los proyectos piloto iniciales comenzaron a poner a prueba el enfoque de Gestioacuten Comunitaria de la Malnutricioacuten Aguda (CMAM) durante emergencias humanitarias1 Se descubrioacute que era tan efectivo que recibioacute el apoyo de agencias de las Naciones Unidas en 20072 y hoy en diacutea se considera el estaacutendar de cuidado para la gestioacuten de la malnutricioacuten aguda en contextos de emergencia y desarrollo

Debido a que los recursos financieros y de otros tipos son limitados y a menudo insuficientes en el sector humanitario no podemos permitirnos malgastar dichos recursos en poliacuteticas y programas que no funcionan Las intervenciones en cualquier sector pueden tener resultados tanto positivos como negativos y consecuencias previstas e imprevistas Incluso en los casos

en los que invertir dinero para solucionar un problema supuestamente traeraacute beneficios necesitamos preguntarnos si ese dinero podriacutea invertirse de manera maacutes eficaz en otro sector por ejemplo en una intervencioacuten humanitaria diferente La evidencia de investigacioacuten puede ayudarle a tomar decisiones informadas sobre las intervenciones maacutes eficaces que aportar en un contexto de emergencia

La evidencia es un campo cuestionado con opiniones discrepantes sobre queacute se deberiacutea valorar maacutes o considerar maacutes relevante para los responsables de la toma de decisiones3 No obstante para el propoacutesito de esta guiacutea praacutectica hacemos hincapieacute en la investigacioacuten basada en las nociones cientiacuteficas de prueba validez confiabilidad y que tiene un sesgo reducido Dicha investigacioacuten tiene la ventaja del rigor la relevancia y la independencia Nos enfocamos en los estudios de poblacioacuten que pretenden generar respuestas promedio que luego necesitan ser contextualizadas por ejemplo teniendo en cuenta factores culturales (como el uso de meacutedicos de sexo masculino para examinar y tratar a pacientes de sexo femenino) y asuntos de viabilidad (como la capacidad de realizar una intervencioacuten en el periacuteodo posterior a un desastre cuando el acceso a las poblaciones o a los recursos puede estar especialmente restringido)

Introduccioacuten

La evidencia proveniente de la investigacioacuten y la evaluacioacuten puede ayudarle a comprender queacute funciona doacutende por queacute y para quieacuten Tambieacuten puede indicarle queacute no funciona y ayudarle a evitar repetir los fracasos de otros mediante el aprendizaje a partir de las evaluaciones de programas humanitarios infructuosos Asimismo la evidencia puede guiar el disentildeo de las maneras maacutes eficaces para ejecutar intervenciones especiacuteficas

INTRODUCCIOacuteNVOLVER AL IacuteNDICE

5 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INTRODUCCIOacuteN

Hemos creado esta guiacutea para ayudarle a aprovechar al maacuteximo la evidencia de investigacioacuten cuando se encuentre en una emergencia humanitaria o planificando para una proacutexima emergencia Nuestra intencioacuten es ayudarle a encontrar y utilizar la evidencia sobre las intervenciones las medidas y las estrategias que podriacutean ayudarle a tomar decisiones informadas Esta guiacutea no se trata de coacutemo generar maacutes evidencia de investigacioacuten Se trata de utilizar y comprender la evidencia existente y reconocer cuaacutendo hace falta buena evidencia Debe ayudarle a fomentar su confianza para compilar asimilar simplificar e interpretar una base de evidencia soacutelida de la investigacioacuten existente y a pensar coacutemo podriacutea evaluar sus propios proyectos y encargar investigaciones o evaluaciones

COacuteMO USAR ESTA GUIacuteA

Esta guiacutea estaacute dividida en cuatro secciones principales

iquestQUIEacuteN PUEDE UTILIZAR ESTA GUIacuteA

Esta guiacutea praacutectica estaacute dirigida principalmente a los responsables de la toma de decisiones humanitarias y a los meacutedicos que trabajan sobre el terreno o en las sedes de organizaciones donantes internacionales nacionales o no gubernamentales Serviraacute de ayuda a la hora de tomar decisiones sobre la financiacioacuten la supervisioacuten la ejecucioacuten o la evaluacioacuten de intervenciones humanitarias No estaacute dirigida a evaluadores e investigadores capacitados sino que intenta fomentar que audiencias maacutes amplias del sector humanitario exijan evidencia de investigacioacuten

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

SECCIOacuteN D iquestDoacutende debe buscar la evidenciaEsta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

SECCIOacuteN A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten

Esta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 6

Para comenzar seamos claros sobre a queacute no nos referimos No estamos hablando de tomar decisiones siguiendo ciegamente las conclusiones riacutegidas de la investigacioacuten El criterio profesional y otras fuentes de informacioacuten tales como los comentarios de las partes interesadas siempre seraacuten importantes Esta guiacutea praacutectica no se trata de reemplazar el criterio profesional sino de aumentar el uso de la evidencia en la accioacuten humanitaria

Una buena manera de comenzar a definir a queacute nos referimos con esto se puede tomar prestada de la medicina Hace maacutes de dos deacutecadas David Sackett y sus colegas propusieron la siguiente definicioacuten que ha perdurado con el paso del tiempo

laquoLa medicina basada en evidencia es el uso consciente expliacutecito y sensato de la mejor evidencia actual en la toma de decisiones sobre el cuidado de cada paciente La praacutectica de la medicina basada en evidencia significa integrar la experiencia cliacutenica individual con la mejor evidencia cliacutenica externa disponible de la investigacioacuten sistemaacuteticaraquo4

Este intento por definir la medicina basada en evidencia no fue el primero5 pero ha sido influyente y es igual de relevante para el sector humanitario como para otros sectores Pone eacutenfasis en coacutemo la investigacioacuten puede complementar el criterio profesional u otras fuentes de informacioacuten y reconoce la importancia

iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacutenEsta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

de la evidencia en asuntos como la viabilidad la preferencia y la cultura

En un campo como el del sector humanitario en el que se requiere maacutes y mejor evidencia6 podriacuteamos asumir que cualquier modelo de buena toma de decisiones debe tener cuidado de no depender uacutenicamente del criterio profesional que no esteacute avalado por evidencia cientiacutefica Maacutes adelante en esta seccioacuten leeraacute acerca de coacutemo todos podemos ser laquopredeciblemente irracionalesraquo y consciente o inconscientemente cometer errores de criterio importantes Exploraremos coacutemo mitigar dichos errores de criterio en las secciones posteriores Sin embargo otros modelos de toma de decisiones tambieacuten han hecho hincapieacute en la importancia de combinar el conocimiento de la evidencia con el criterio El sector humanitario es un aacuterea sensible en la cual necesitamos tener en cuenta las poliacuteticas internacionales y locales y las dinaacutemicas entre los diversos actores involucrados en la prestacioacuten de ayuda humanitaria En ocasiones esto determinaraacute el acceso a la evidencia y la informacioacuten pero tambieacuten coacutemo se presta la ayuda humanitaria No obstante la importancia de la evidencia perdura y como se indica en el informe de la ALNAP de 2014 laquola incapacidad de producir y utilizar evidencia en la poliacutetica y en la respuesta hace que la accioacuten humanitaria sea menos eficaz menos eacutetica y menos responsableraquo7

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

7 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

iquestQUEacute ES LA laquoEVIDENCIAraquo Y POR QUEacute NOS CENTRAMOS EN LA INVESTIGACIOacuteN

El Oxford English Dictionary define laquoevidenciaraquo como laquoel conjunto de hechos o la informacioacuten disponibles que indican siuna creencia o proposicioacuten es verdaderao vaacutelidaraquo8 y del mismo modo en elinforme de la ALNAP sobre el estado de laevidencia en el sector humanitario PaulKnox Clarke y James Darcy la definieroncomo laquola informacioacuten que ayuda acorroborar y probarrefutar la verdad deuna propuesta especiacuteficaraquo7 Nos basamosen estas definiciones porque muchasotras tienden a ser de poca ayuda por serdemasiado inclusivas (en determinadasocasiones incluyen casi todos los tipos deinformacioacuten) o bien por ser demasiadovagas y abstractas

Figura A1 Los cuatro elementos de la toma de decisiones basada en evidencia

Basado en Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Aacutemsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DECISIOacuteNEXPERIENCIA

Y CRITERIO DE LOS MEacuteDICOS

INVESTIGACIOacuteN Y EVALUACIOacuteN

CONTEXTO ORGANIZACIOacuteN

AGENTES CIRCUNSTANCIAS

PARTES INTERESADAS

(p ej empleados preferencias o

valores)

La Figura A1 muestra los diferentes elementos que deben formar parte de la toma de decisiones basada en evidencia En esta guiacutea praacutectica nos centramos en el ciacuterculo superior del diagrama investigacioacuten y evaluacioacuten

Tal y como afirman los autores del informe de la Alliance for Useful Evidence laquoWhat Counts as Good Evidenceraquo (iquestQueacute se considera una buena evidencia) la realizacioacuten y la publicacioacuten de la investigacioacuten implican la documentacioacuten expliacutecita de la metodologiacutea la revisioacuten por pares y el control externo dando como resultado rigurosidad y transparencia Estas caracteriacutesticas contribuyen al caraacutecter sistemaacutetico de la investigacioacuten y ayudan a proporcionar un medio para evaluar la fiabilidad de los resultados Tambieacuten ofrecen la posibilidad de evaluar la validez de una afirmacioacuten en comparacioacuten con otra9

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 2: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

AGRADECIMIENTOS

Estamos muy agradecidos con quienes participaron en el evento Evidence Lounge en Ginebra Suiza en septiembre de 2017 durante el cual se analizoacute esta guiacutea proporcionaron comentarios sobre los primeros borradores de la Guiacutea o ambos Prisca Benelli (Save the Children) Kate Bingley (Christian Aid) Jonathan Breckon (Alliance for Useful Evidence) Alyoscia DOnofrio (Comiteacute Internacional de Rescate - IRC) Tarah Friend (Departamento de Desarrollo Internacional del Reino Unido - DfID) Tara Karul (Iniciativa Internacional para la Evaluacioacuten de Impacto - 3ie) Paul Knox-Clarke (Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria - ALNAP) Flurina Kuhn (Red de Ciencia e Innovacioacuten del Reino Unido) David Loquercio (Norma Humanitaria Esencial en materia de Calidad y Rendicioacuten de Cuentas - CHS) Tim Martineau (Escuela de Medicina Tropical de Liverpool - LSTM) Virginia Murray (Public Health England - PHE) Alice Obrecht (ALNAP) Aninia Nadig (Proyecto Esfera) Adina Rom (ETH Zurich) Rodolfo Rossi (Comiteacute Internacional de la Cruz Roja - CICR) Eva Svoboda (Instituto de Desarrollo de Ultramar - ODI y Grupo de Poliacuteticas Humanitarias - HPG) Pierluigi Testa (Terre des hommes) Erik Von Elm (Cochrane Suiza) y Karin Wendt (Humanitarian Exchange and Research Centre - HERE)

Ademaacutes las siguientes organizaciones contribuyeron con ejemplos (incluidos casos praacutecticos) y otro contenido 3ie ALNAP Christian Aid Evidence Aid Comiteacute Internacional de la Cruz Roja Comiteacute Internacional de Rescate Escuela de Medicina Tropical de Liverpool Escuela de Higiene y Medicina Tropical de Londres Instituto de Desarrollo de Ultramar Public Health England Save the Children y ShelterBox

FINANCIACIOacuteNLos fondos para este documentos fueron proporcionados por la Red de Ciencia e Innovacioacuten del Reino Unido (representada por la SIN Suiza Embajada Britaacutenica en Berna)

CORRESPONDENCIALa correspondencia referente a este documento se debe enviar a Karl Blanchet Director del Health in Humanitarian Crises Centre London School of Hygiene amp Tropical Medicine Tavistock Place Londres Reino Unido y Mike Clarke Director de investigacioacuten de Evidence Aid Centre for Public Health Queens University Belfast ICS Block A Royal Hospitals Belfast Reino Unido

Karl KarlBlanchetlshtmacuk Mike mclarkequbacuk

CITAEste documento se debe citar de la siguiente manera Blanchet K Allen C Breckon J Davies P Duclos D Jansen J Mthiyane H Clarke M (2018) Uso de la evidencia de investigacioacuten en el sector humanitario una guiacutea praacutectica Londres Reino Unido Evidence Aid Escuela de Higiene y Medicina Tropical de Londres y Nesta (Alliance for Useful Evidence)

AUTORESEste documento fue redactado por Karl Blancheta Claire Allenb Jonathan Breckonc Phil Daviesb Diane Duclosb Jeroen Jansenb Helen Mthiyanec y Mike Clarkeb (a Centro de Salud en Crisis Humanitarias Escuela de Higiene y Medicina Tropical de Londresb Evidence Aid c Nesta Alliance forUseful Evidence)

Foto de portada copy Patrick BrownUNICEFPanos Pictures

1 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Evidence Aid (wwwevidenceaidorg) defiende un enfoque basado en evidencia en el sector humanitario Su misioacuten es aliviar el sufrimiento y salvar vidas proporcionando la mejor evidencia disponible sobre la eficacia de la accioacuten humanitaria y facilitando su uso Evidence Aid ha desarrollado una gama de recursos que se encuentran disponibles de manera gratuita en su sitio web Estos incluyen revisiones sistemaacuteticas de intervenciones para desastres crisis humanitarias y otras emergencias graves Evidence Aid organiza eventos para promover el uso de la evidencia en el sector humanitario incluida una Semana de Evidencia Humanitaria anual que se celebra en noviembre en colaboracioacuten con el Centro de Medicina basada en la Evidencia de la Universidad de Oxford Reino Unido junto con Evidence Lounges Los Evidence Lounges reuacutenen a meacutedicos y miembros de la comunidad de investigacioacuten acadeacutemica para mejorar las colaboraciones y desarrollar maneras praacutecticas de utilizar la evidencia en el sector humanitario incluida esta guiacutea

El Centro de Salud en Crisis Humanitarias (httpcriseslshtmacuk) de la Escuela de Higiene y Medicina Tropical de Londres lleva a cabo investigacioacuten primaria y formacioacuten sobre salud puacuteblica en situaciones de crisis humanitaria en estrecha colaboracioacuten con agencias humanitarias internacionales y centros de investigacioacuten en paiacuteses afectados para abordar los desafiacuteos sanitarios criacuteticos

En 2018 se lanzoacute un programa de desarrollo de capacidades e investigacioacuten de cuatro antildeos RECAP y se ha enfocado en la toma de decisiones y la rendicioacuten de cuentas en la respuesta a crisis humanitarias y epidemias El proyecto RECAP tiene el respaldo de UK Research and Innovation como parte del Global Challenges Research Fund subvencioacuten nuacutemero ESP0108731 El Centro tambieacuten ofrece cursos para meacutedicos a traveacutes de moacutedulos sobre conflicto y salud cursos cortos y un MOOC gratuito sobre Salud en Situaciones de Crisis Humanitaria

Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) es una fundacioacuten para la innovacioacuten mundial con base en el Reino Unido Respalda nuevas ideas para afrontar los grandes desafiacuteos de nuestra eacutepoca desde las presiones del envejecimiento poblacional hasta los servicios puacuteblicos insuficientes y un mercado laboral en constante evolucioacuten Ha creado una serie de guiacuteas relativas al uso de evidencia para superar este desafiacuteo y esta publicacioacuten se basa en una de ellas laquoUsing Research Evidence A Practice Guideraquo (Uso de la evidencia de investigacioacuten una guiacutea praacutectica) Dicha guiacutea fue elaborada por el Equipo de Habilidades de Innovacioacuten de Nesta y la Alliance for Useful Evidence la presente guiacutea para el sector humanitario se desarrolloacute en consulta con ellos y agradecemos profundamente a Nesta por permitirnos utilizar algunos de sus contenidos

EL TRABAJO EN LA GUIacuteA FUE COORDINADO POR TRES ORGANIZACIONES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 2

INTRODUCCIOacuteN 4

iquestQuieacuten puede utilizar esta guiacutea 5Coacutemo usar esta guiacutea 5

SECTION A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten 6

iquestQueacute es la laquoevidenciaraquo y por queacute nos centramos en la investigacioacuten 7

El desafiacuteo de confiar uacutenicamente en la opinioacuten profesional 9

Mensajes clave de la Seccioacuten A 11

12

12

14

18

19

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidencia

Ciclo de respuesta humanitaria

Desarrollo y ejecucioacuten deuna nueva intervencioacuten

Adopcioacuten de ideas de otras regiones o sectores

Creacioacuten de una teoriacutea del cambio

Mensajes clave de la Seccioacuten B 19

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir 21

Parte 1 Diferentes tipos de meacutetodos disentildeos y enfoques de investigacioacuten 23

Investigacioacuten experimental iquestpor queacute tanto alboroto 28

Disentildeos de investigacioacuten experimental 28

Cuestiones praacutecticas y eacuteticas de los ensayos aleatorios 30

Cuando la aleatorizacioacuten no es posible o aceptable 30

Disentildeos cuasi-experimentales 30

Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten 32

32

34

35

35

35

37

37

39

39

40

41

41

iquestMerecioacute la pena El valorde los anaacutelisis de coste-beneficioy de coste-eficacia

Mensajes clave de la Parte 1 de la Seccioacuten C

Parte 2 iquestCoacutemo califica la calidad de la investigacioacuten

iquestCoacutemo ayuda la revisioacuten por pares a los responsables de la toma de decisiones

Definicioacuten de investigacioacuten de laquoalta calidadraquo

Investigacioacuten cualitativa de alta calidad

Evite laquoelegir a su antojoraquo usando revisiones sistemaacuteticas

Metaanaacutelisis

Diagramas de bosque

Evaluaciones raacutepidas de evidencia

La importancia de la repeticioacuten y la corroboracioacuten

Anaacutelisis de revisiones coacutemo evaluar los conjuntos de evidencia de alta calidad

Mensajes clave de la Parte 2 de la Seccioacuten C

42

SECCIOacuteN D iquestDoacutende debe buscar la evidencia 43

Buacutesqueda de evidencia de investigacioacuten 43

Fuentes de revisiones sistemaacuteticas y otras investigaciones para el sector humanitario 44

Mensajes clave de la Seccioacuten D 45

NOTAS FINALES

Referencias y notas finales 46

IacuteNDICE

3 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 4

La evidencia cuestiona lo que podriacuteamos pensar que es sentido comuacuten conocimiento percibido o recibido

Por ejemplo por mucho tiempo se creyoacute que la malnutricioacuten aguda severa requeriacutea un tratamiento especializado en centros de hospitalizacioacuten con productos terapeacuteuticos a pesar de que este modelo presentaba una serie de desafiacuteos para el tratamiento eficaz tanto para los sistemas de salud como para los pacientes A mediados de la deacutecada de 1990 se desarrollaron alimentos terapeacuteuticos listos para utilizar En 2000 los proyectos piloto iniciales comenzaron a poner a prueba el enfoque de Gestioacuten Comunitaria de la Malnutricioacuten Aguda (CMAM) durante emergencias humanitarias1 Se descubrioacute que era tan efectivo que recibioacute el apoyo de agencias de las Naciones Unidas en 20072 y hoy en diacutea se considera el estaacutendar de cuidado para la gestioacuten de la malnutricioacuten aguda en contextos de emergencia y desarrollo

Debido a que los recursos financieros y de otros tipos son limitados y a menudo insuficientes en el sector humanitario no podemos permitirnos malgastar dichos recursos en poliacuteticas y programas que no funcionan Las intervenciones en cualquier sector pueden tener resultados tanto positivos como negativos y consecuencias previstas e imprevistas Incluso en los casos

en los que invertir dinero para solucionar un problema supuestamente traeraacute beneficios necesitamos preguntarnos si ese dinero podriacutea invertirse de manera maacutes eficaz en otro sector por ejemplo en una intervencioacuten humanitaria diferente La evidencia de investigacioacuten puede ayudarle a tomar decisiones informadas sobre las intervenciones maacutes eficaces que aportar en un contexto de emergencia

La evidencia es un campo cuestionado con opiniones discrepantes sobre queacute se deberiacutea valorar maacutes o considerar maacutes relevante para los responsables de la toma de decisiones3 No obstante para el propoacutesito de esta guiacutea praacutectica hacemos hincapieacute en la investigacioacuten basada en las nociones cientiacuteficas de prueba validez confiabilidad y que tiene un sesgo reducido Dicha investigacioacuten tiene la ventaja del rigor la relevancia y la independencia Nos enfocamos en los estudios de poblacioacuten que pretenden generar respuestas promedio que luego necesitan ser contextualizadas por ejemplo teniendo en cuenta factores culturales (como el uso de meacutedicos de sexo masculino para examinar y tratar a pacientes de sexo femenino) y asuntos de viabilidad (como la capacidad de realizar una intervencioacuten en el periacuteodo posterior a un desastre cuando el acceso a las poblaciones o a los recursos puede estar especialmente restringido)

Introduccioacuten

La evidencia proveniente de la investigacioacuten y la evaluacioacuten puede ayudarle a comprender queacute funciona doacutende por queacute y para quieacuten Tambieacuten puede indicarle queacute no funciona y ayudarle a evitar repetir los fracasos de otros mediante el aprendizaje a partir de las evaluaciones de programas humanitarios infructuosos Asimismo la evidencia puede guiar el disentildeo de las maneras maacutes eficaces para ejecutar intervenciones especiacuteficas

INTRODUCCIOacuteNVOLVER AL IacuteNDICE

5 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INTRODUCCIOacuteN

Hemos creado esta guiacutea para ayudarle a aprovechar al maacuteximo la evidencia de investigacioacuten cuando se encuentre en una emergencia humanitaria o planificando para una proacutexima emergencia Nuestra intencioacuten es ayudarle a encontrar y utilizar la evidencia sobre las intervenciones las medidas y las estrategias que podriacutean ayudarle a tomar decisiones informadas Esta guiacutea no se trata de coacutemo generar maacutes evidencia de investigacioacuten Se trata de utilizar y comprender la evidencia existente y reconocer cuaacutendo hace falta buena evidencia Debe ayudarle a fomentar su confianza para compilar asimilar simplificar e interpretar una base de evidencia soacutelida de la investigacioacuten existente y a pensar coacutemo podriacutea evaluar sus propios proyectos y encargar investigaciones o evaluaciones

COacuteMO USAR ESTA GUIacuteA

Esta guiacutea estaacute dividida en cuatro secciones principales

iquestQUIEacuteN PUEDE UTILIZAR ESTA GUIacuteA

Esta guiacutea praacutectica estaacute dirigida principalmente a los responsables de la toma de decisiones humanitarias y a los meacutedicos que trabajan sobre el terreno o en las sedes de organizaciones donantes internacionales nacionales o no gubernamentales Serviraacute de ayuda a la hora de tomar decisiones sobre la financiacioacuten la supervisioacuten la ejecucioacuten o la evaluacioacuten de intervenciones humanitarias No estaacute dirigida a evaluadores e investigadores capacitados sino que intenta fomentar que audiencias maacutes amplias del sector humanitario exijan evidencia de investigacioacuten

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

SECCIOacuteN D iquestDoacutende debe buscar la evidenciaEsta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

SECCIOacuteN A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten

Esta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 6

Para comenzar seamos claros sobre a queacute no nos referimos No estamos hablando de tomar decisiones siguiendo ciegamente las conclusiones riacutegidas de la investigacioacuten El criterio profesional y otras fuentes de informacioacuten tales como los comentarios de las partes interesadas siempre seraacuten importantes Esta guiacutea praacutectica no se trata de reemplazar el criterio profesional sino de aumentar el uso de la evidencia en la accioacuten humanitaria

Una buena manera de comenzar a definir a queacute nos referimos con esto se puede tomar prestada de la medicina Hace maacutes de dos deacutecadas David Sackett y sus colegas propusieron la siguiente definicioacuten que ha perdurado con el paso del tiempo

laquoLa medicina basada en evidencia es el uso consciente expliacutecito y sensato de la mejor evidencia actual en la toma de decisiones sobre el cuidado de cada paciente La praacutectica de la medicina basada en evidencia significa integrar la experiencia cliacutenica individual con la mejor evidencia cliacutenica externa disponible de la investigacioacuten sistemaacuteticaraquo4

Este intento por definir la medicina basada en evidencia no fue el primero5 pero ha sido influyente y es igual de relevante para el sector humanitario como para otros sectores Pone eacutenfasis en coacutemo la investigacioacuten puede complementar el criterio profesional u otras fuentes de informacioacuten y reconoce la importancia

iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacutenEsta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

de la evidencia en asuntos como la viabilidad la preferencia y la cultura

En un campo como el del sector humanitario en el que se requiere maacutes y mejor evidencia6 podriacuteamos asumir que cualquier modelo de buena toma de decisiones debe tener cuidado de no depender uacutenicamente del criterio profesional que no esteacute avalado por evidencia cientiacutefica Maacutes adelante en esta seccioacuten leeraacute acerca de coacutemo todos podemos ser laquopredeciblemente irracionalesraquo y consciente o inconscientemente cometer errores de criterio importantes Exploraremos coacutemo mitigar dichos errores de criterio en las secciones posteriores Sin embargo otros modelos de toma de decisiones tambieacuten han hecho hincapieacute en la importancia de combinar el conocimiento de la evidencia con el criterio El sector humanitario es un aacuterea sensible en la cual necesitamos tener en cuenta las poliacuteticas internacionales y locales y las dinaacutemicas entre los diversos actores involucrados en la prestacioacuten de ayuda humanitaria En ocasiones esto determinaraacute el acceso a la evidencia y la informacioacuten pero tambieacuten coacutemo se presta la ayuda humanitaria No obstante la importancia de la evidencia perdura y como se indica en el informe de la ALNAP de 2014 laquola incapacidad de producir y utilizar evidencia en la poliacutetica y en la respuesta hace que la accioacuten humanitaria sea menos eficaz menos eacutetica y menos responsableraquo7

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

7 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

iquestQUEacute ES LA laquoEVIDENCIAraquo Y POR QUEacute NOS CENTRAMOS EN LA INVESTIGACIOacuteN

El Oxford English Dictionary define laquoevidenciaraquo como laquoel conjunto de hechos o la informacioacuten disponibles que indican siuna creencia o proposicioacuten es verdaderao vaacutelidaraquo8 y del mismo modo en elinforme de la ALNAP sobre el estado de laevidencia en el sector humanitario PaulKnox Clarke y James Darcy la definieroncomo laquola informacioacuten que ayuda acorroborar y probarrefutar la verdad deuna propuesta especiacuteficaraquo7 Nos basamosen estas definiciones porque muchasotras tienden a ser de poca ayuda por serdemasiado inclusivas (en determinadasocasiones incluyen casi todos los tipos deinformacioacuten) o bien por ser demasiadovagas y abstractas

Figura A1 Los cuatro elementos de la toma de decisiones basada en evidencia

Basado en Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Aacutemsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DECISIOacuteNEXPERIENCIA

Y CRITERIO DE LOS MEacuteDICOS

INVESTIGACIOacuteN Y EVALUACIOacuteN

CONTEXTO ORGANIZACIOacuteN

AGENTES CIRCUNSTANCIAS

PARTES INTERESADAS

(p ej empleados preferencias o

valores)

La Figura A1 muestra los diferentes elementos que deben formar parte de la toma de decisiones basada en evidencia En esta guiacutea praacutectica nos centramos en el ciacuterculo superior del diagrama investigacioacuten y evaluacioacuten

Tal y como afirman los autores del informe de la Alliance for Useful Evidence laquoWhat Counts as Good Evidenceraquo (iquestQueacute se considera una buena evidencia) la realizacioacuten y la publicacioacuten de la investigacioacuten implican la documentacioacuten expliacutecita de la metodologiacutea la revisioacuten por pares y el control externo dando como resultado rigurosidad y transparencia Estas caracteriacutesticas contribuyen al caraacutecter sistemaacutetico de la investigacioacuten y ayudan a proporcionar un medio para evaluar la fiabilidad de los resultados Tambieacuten ofrecen la posibilidad de evaluar la validez de una afirmacioacuten en comparacioacuten con otra9

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 3: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

Evidence Aid (wwwevidenceaidorg) defiende un enfoque basado en evidencia en el sector humanitario Su misioacuten es aliviar el sufrimiento y salvar vidas proporcionando la mejor evidencia disponible sobre la eficacia de la accioacuten humanitaria y facilitando su uso Evidence Aid ha desarrollado una gama de recursos que se encuentran disponibles de manera gratuita en su sitio web Estos incluyen revisiones sistemaacuteticas de intervenciones para desastres crisis humanitarias y otras emergencias graves Evidence Aid organiza eventos para promover el uso de la evidencia en el sector humanitario incluida una Semana de Evidencia Humanitaria anual que se celebra en noviembre en colaboracioacuten con el Centro de Medicina basada en la Evidencia de la Universidad de Oxford Reino Unido junto con Evidence Lounges Los Evidence Lounges reuacutenen a meacutedicos y miembros de la comunidad de investigacioacuten acadeacutemica para mejorar las colaboraciones y desarrollar maneras praacutecticas de utilizar la evidencia en el sector humanitario incluida esta guiacutea

El Centro de Salud en Crisis Humanitarias (httpcriseslshtmacuk) de la Escuela de Higiene y Medicina Tropical de Londres lleva a cabo investigacioacuten primaria y formacioacuten sobre salud puacuteblica en situaciones de crisis humanitaria en estrecha colaboracioacuten con agencias humanitarias internacionales y centros de investigacioacuten en paiacuteses afectados para abordar los desafiacuteos sanitarios criacuteticos

En 2018 se lanzoacute un programa de desarrollo de capacidades e investigacioacuten de cuatro antildeos RECAP y se ha enfocado en la toma de decisiones y la rendicioacuten de cuentas en la respuesta a crisis humanitarias y epidemias El proyecto RECAP tiene el respaldo de UK Research and Innovation como parte del Global Challenges Research Fund subvencioacuten nuacutemero ESP0108731 El Centro tambieacuten ofrece cursos para meacutedicos a traveacutes de moacutedulos sobre conflicto y salud cursos cortos y un MOOC gratuito sobre Salud en Situaciones de Crisis Humanitaria

Nesta (Alliance for Useful Evidence) (wwwalliance4usefulevidenceorg) es una fundacioacuten para la innovacioacuten mundial con base en el Reino Unido Respalda nuevas ideas para afrontar los grandes desafiacuteos de nuestra eacutepoca desde las presiones del envejecimiento poblacional hasta los servicios puacuteblicos insuficientes y un mercado laboral en constante evolucioacuten Ha creado una serie de guiacuteas relativas al uso de evidencia para superar este desafiacuteo y esta publicacioacuten se basa en una de ellas laquoUsing Research Evidence A Practice Guideraquo (Uso de la evidencia de investigacioacuten una guiacutea praacutectica) Dicha guiacutea fue elaborada por el Equipo de Habilidades de Innovacioacuten de Nesta y la Alliance for Useful Evidence la presente guiacutea para el sector humanitario se desarrolloacute en consulta con ellos y agradecemos profundamente a Nesta por permitirnos utilizar algunos de sus contenidos

EL TRABAJO EN LA GUIacuteA FUE COORDINADO POR TRES ORGANIZACIONES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 2

INTRODUCCIOacuteN 4

iquestQuieacuten puede utilizar esta guiacutea 5Coacutemo usar esta guiacutea 5

SECTION A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten 6

iquestQueacute es la laquoevidenciaraquo y por queacute nos centramos en la investigacioacuten 7

El desafiacuteo de confiar uacutenicamente en la opinioacuten profesional 9

Mensajes clave de la Seccioacuten A 11

12

12

14

18

19

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidencia

Ciclo de respuesta humanitaria

Desarrollo y ejecucioacuten deuna nueva intervencioacuten

Adopcioacuten de ideas de otras regiones o sectores

Creacioacuten de una teoriacutea del cambio

Mensajes clave de la Seccioacuten B 19

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir 21

Parte 1 Diferentes tipos de meacutetodos disentildeos y enfoques de investigacioacuten 23

Investigacioacuten experimental iquestpor queacute tanto alboroto 28

Disentildeos de investigacioacuten experimental 28

Cuestiones praacutecticas y eacuteticas de los ensayos aleatorios 30

Cuando la aleatorizacioacuten no es posible o aceptable 30

Disentildeos cuasi-experimentales 30

Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten 32

32

34

35

35

35

37

37

39

39

40

41

41

iquestMerecioacute la pena El valorde los anaacutelisis de coste-beneficioy de coste-eficacia

Mensajes clave de la Parte 1 de la Seccioacuten C

Parte 2 iquestCoacutemo califica la calidad de la investigacioacuten

iquestCoacutemo ayuda la revisioacuten por pares a los responsables de la toma de decisiones

Definicioacuten de investigacioacuten de laquoalta calidadraquo

Investigacioacuten cualitativa de alta calidad

Evite laquoelegir a su antojoraquo usando revisiones sistemaacuteticas

Metaanaacutelisis

Diagramas de bosque

Evaluaciones raacutepidas de evidencia

La importancia de la repeticioacuten y la corroboracioacuten

Anaacutelisis de revisiones coacutemo evaluar los conjuntos de evidencia de alta calidad

Mensajes clave de la Parte 2 de la Seccioacuten C

42

SECCIOacuteN D iquestDoacutende debe buscar la evidencia 43

Buacutesqueda de evidencia de investigacioacuten 43

Fuentes de revisiones sistemaacuteticas y otras investigaciones para el sector humanitario 44

Mensajes clave de la Seccioacuten D 45

NOTAS FINALES

Referencias y notas finales 46

IacuteNDICE

3 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 4

La evidencia cuestiona lo que podriacuteamos pensar que es sentido comuacuten conocimiento percibido o recibido

Por ejemplo por mucho tiempo se creyoacute que la malnutricioacuten aguda severa requeriacutea un tratamiento especializado en centros de hospitalizacioacuten con productos terapeacuteuticos a pesar de que este modelo presentaba una serie de desafiacuteos para el tratamiento eficaz tanto para los sistemas de salud como para los pacientes A mediados de la deacutecada de 1990 se desarrollaron alimentos terapeacuteuticos listos para utilizar En 2000 los proyectos piloto iniciales comenzaron a poner a prueba el enfoque de Gestioacuten Comunitaria de la Malnutricioacuten Aguda (CMAM) durante emergencias humanitarias1 Se descubrioacute que era tan efectivo que recibioacute el apoyo de agencias de las Naciones Unidas en 20072 y hoy en diacutea se considera el estaacutendar de cuidado para la gestioacuten de la malnutricioacuten aguda en contextos de emergencia y desarrollo

Debido a que los recursos financieros y de otros tipos son limitados y a menudo insuficientes en el sector humanitario no podemos permitirnos malgastar dichos recursos en poliacuteticas y programas que no funcionan Las intervenciones en cualquier sector pueden tener resultados tanto positivos como negativos y consecuencias previstas e imprevistas Incluso en los casos

en los que invertir dinero para solucionar un problema supuestamente traeraacute beneficios necesitamos preguntarnos si ese dinero podriacutea invertirse de manera maacutes eficaz en otro sector por ejemplo en una intervencioacuten humanitaria diferente La evidencia de investigacioacuten puede ayudarle a tomar decisiones informadas sobre las intervenciones maacutes eficaces que aportar en un contexto de emergencia

La evidencia es un campo cuestionado con opiniones discrepantes sobre queacute se deberiacutea valorar maacutes o considerar maacutes relevante para los responsables de la toma de decisiones3 No obstante para el propoacutesito de esta guiacutea praacutectica hacemos hincapieacute en la investigacioacuten basada en las nociones cientiacuteficas de prueba validez confiabilidad y que tiene un sesgo reducido Dicha investigacioacuten tiene la ventaja del rigor la relevancia y la independencia Nos enfocamos en los estudios de poblacioacuten que pretenden generar respuestas promedio que luego necesitan ser contextualizadas por ejemplo teniendo en cuenta factores culturales (como el uso de meacutedicos de sexo masculino para examinar y tratar a pacientes de sexo femenino) y asuntos de viabilidad (como la capacidad de realizar una intervencioacuten en el periacuteodo posterior a un desastre cuando el acceso a las poblaciones o a los recursos puede estar especialmente restringido)

Introduccioacuten

La evidencia proveniente de la investigacioacuten y la evaluacioacuten puede ayudarle a comprender queacute funciona doacutende por queacute y para quieacuten Tambieacuten puede indicarle queacute no funciona y ayudarle a evitar repetir los fracasos de otros mediante el aprendizaje a partir de las evaluaciones de programas humanitarios infructuosos Asimismo la evidencia puede guiar el disentildeo de las maneras maacutes eficaces para ejecutar intervenciones especiacuteficas

INTRODUCCIOacuteNVOLVER AL IacuteNDICE

5 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INTRODUCCIOacuteN

Hemos creado esta guiacutea para ayudarle a aprovechar al maacuteximo la evidencia de investigacioacuten cuando se encuentre en una emergencia humanitaria o planificando para una proacutexima emergencia Nuestra intencioacuten es ayudarle a encontrar y utilizar la evidencia sobre las intervenciones las medidas y las estrategias que podriacutean ayudarle a tomar decisiones informadas Esta guiacutea no se trata de coacutemo generar maacutes evidencia de investigacioacuten Se trata de utilizar y comprender la evidencia existente y reconocer cuaacutendo hace falta buena evidencia Debe ayudarle a fomentar su confianza para compilar asimilar simplificar e interpretar una base de evidencia soacutelida de la investigacioacuten existente y a pensar coacutemo podriacutea evaluar sus propios proyectos y encargar investigaciones o evaluaciones

COacuteMO USAR ESTA GUIacuteA

Esta guiacutea estaacute dividida en cuatro secciones principales

iquestQUIEacuteN PUEDE UTILIZAR ESTA GUIacuteA

Esta guiacutea praacutectica estaacute dirigida principalmente a los responsables de la toma de decisiones humanitarias y a los meacutedicos que trabajan sobre el terreno o en las sedes de organizaciones donantes internacionales nacionales o no gubernamentales Serviraacute de ayuda a la hora de tomar decisiones sobre la financiacioacuten la supervisioacuten la ejecucioacuten o la evaluacioacuten de intervenciones humanitarias No estaacute dirigida a evaluadores e investigadores capacitados sino que intenta fomentar que audiencias maacutes amplias del sector humanitario exijan evidencia de investigacioacuten

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

SECCIOacuteN D iquestDoacutende debe buscar la evidenciaEsta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

SECCIOacuteN A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten

Esta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 6

Para comenzar seamos claros sobre a queacute no nos referimos No estamos hablando de tomar decisiones siguiendo ciegamente las conclusiones riacutegidas de la investigacioacuten El criterio profesional y otras fuentes de informacioacuten tales como los comentarios de las partes interesadas siempre seraacuten importantes Esta guiacutea praacutectica no se trata de reemplazar el criterio profesional sino de aumentar el uso de la evidencia en la accioacuten humanitaria

Una buena manera de comenzar a definir a queacute nos referimos con esto se puede tomar prestada de la medicina Hace maacutes de dos deacutecadas David Sackett y sus colegas propusieron la siguiente definicioacuten que ha perdurado con el paso del tiempo

laquoLa medicina basada en evidencia es el uso consciente expliacutecito y sensato de la mejor evidencia actual en la toma de decisiones sobre el cuidado de cada paciente La praacutectica de la medicina basada en evidencia significa integrar la experiencia cliacutenica individual con la mejor evidencia cliacutenica externa disponible de la investigacioacuten sistemaacuteticaraquo4

Este intento por definir la medicina basada en evidencia no fue el primero5 pero ha sido influyente y es igual de relevante para el sector humanitario como para otros sectores Pone eacutenfasis en coacutemo la investigacioacuten puede complementar el criterio profesional u otras fuentes de informacioacuten y reconoce la importancia

iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacutenEsta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

de la evidencia en asuntos como la viabilidad la preferencia y la cultura

En un campo como el del sector humanitario en el que se requiere maacutes y mejor evidencia6 podriacuteamos asumir que cualquier modelo de buena toma de decisiones debe tener cuidado de no depender uacutenicamente del criterio profesional que no esteacute avalado por evidencia cientiacutefica Maacutes adelante en esta seccioacuten leeraacute acerca de coacutemo todos podemos ser laquopredeciblemente irracionalesraquo y consciente o inconscientemente cometer errores de criterio importantes Exploraremos coacutemo mitigar dichos errores de criterio en las secciones posteriores Sin embargo otros modelos de toma de decisiones tambieacuten han hecho hincapieacute en la importancia de combinar el conocimiento de la evidencia con el criterio El sector humanitario es un aacuterea sensible en la cual necesitamos tener en cuenta las poliacuteticas internacionales y locales y las dinaacutemicas entre los diversos actores involucrados en la prestacioacuten de ayuda humanitaria En ocasiones esto determinaraacute el acceso a la evidencia y la informacioacuten pero tambieacuten coacutemo se presta la ayuda humanitaria No obstante la importancia de la evidencia perdura y como se indica en el informe de la ALNAP de 2014 laquola incapacidad de producir y utilizar evidencia en la poliacutetica y en la respuesta hace que la accioacuten humanitaria sea menos eficaz menos eacutetica y menos responsableraquo7

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

7 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

iquestQUEacute ES LA laquoEVIDENCIAraquo Y POR QUEacute NOS CENTRAMOS EN LA INVESTIGACIOacuteN

El Oxford English Dictionary define laquoevidenciaraquo como laquoel conjunto de hechos o la informacioacuten disponibles que indican siuna creencia o proposicioacuten es verdaderao vaacutelidaraquo8 y del mismo modo en elinforme de la ALNAP sobre el estado de laevidencia en el sector humanitario PaulKnox Clarke y James Darcy la definieroncomo laquola informacioacuten que ayuda acorroborar y probarrefutar la verdad deuna propuesta especiacuteficaraquo7 Nos basamosen estas definiciones porque muchasotras tienden a ser de poca ayuda por serdemasiado inclusivas (en determinadasocasiones incluyen casi todos los tipos deinformacioacuten) o bien por ser demasiadovagas y abstractas

Figura A1 Los cuatro elementos de la toma de decisiones basada en evidencia

Basado en Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Aacutemsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DECISIOacuteNEXPERIENCIA

Y CRITERIO DE LOS MEacuteDICOS

INVESTIGACIOacuteN Y EVALUACIOacuteN

CONTEXTO ORGANIZACIOacuteN

AGENTES CIRCUNSTANCIAS

PARTES INTERESADAS

(p ej empleados preferencias o

valores)

La Figura A1 muestra los diferentes elementos que deben formar parte de la toma de decisiones basada en evidencia En esta guiacutea praacutectica nos centramos en el ciacuterculo superior del diagrama investigacioacuten y evaluacioacuten

Tal y como afirman los autores del informe de la Alliance for Useful Evidence laquoWhat Counts as Good Evidenceraquo (iquestQueacute se considera una buena evidencia) la realizacioacuten y la publicacioacuten de la investigacioacuten implican la documentacioacuten expliacutecita de la metodologiacutea la revisioacuten por pares y el control externo dando como resultado rigurosidad y transparencia Estas caracteriacutesticas contribuyen al caraacutecter sistemaacutetico de la investigacioacuten y ayudan a proporcionar un medio para evaluar la fiabilidad de los resultados Tambieacuten ofrecen la posibilidad de evaluar la validez de una afirmacioacuten en comparacioacuten con otra9

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 4: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

INTRODUCCIOacuteN 4

iquestQuieacuten puede utilizar esta guiacutea 5Coacutemo usar esta guiacutea 5

SECTION A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten 6

iquestQueacute es la laquoevidenciaraquo y por queacute nos centramos en la investigacioacuten 7

El desafiacuteo de confiar uacutenicamente en la opinioacuten profesional 9

Mensajes clave de la Seccioacuten A 11

12

12

14

18

19

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidencia

Ciclo de respuesta humanitaria

Desarrollo y ejecucioacuten deuna nueva intervencioacuten

Adopcioacuten de ideas de otras regiones o sectores

Creacioacuten de una teoriacutea del cambio

Mensajes clave de la Seccioacuten B 19

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir 21

Parte 1 Diferentes tipos de meacutetodos disentildeos y enfoques de investigacioacuten 23

Investigacioacuten experimental iquestpor queacute tanto alboroto 28

Disentildeos de investigacioacuten experimental 28

Cuestiones praacutecticas y eacuteticas de los ensayos aleatorios 30

Cuando la aleatorizacioacuten no es posible o aceptable 30

Disentildeos cuasi-experimentales 30

Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten 32

32

34

35

35

35

37

37

39

39

40

41

41

iquestMerecioacute la pena El valorde los anaacutelisis de coste-beneficioy de coste-eficacia

Mensajes clave de la Parte 1 de la Seccioacuten C

Parte 2 iquestCoacutemo califica la calidad de la investigacioacuten

iquestCoacutemo ayuda la revisioacuten por pares a los responsables de la toma de decisiones

Definicioacuten de investigacioacuten de laquoalta calidadraquo

Investigacioacuten cualitativa de alta calidad

Evite laquoelegir a su antojoraquo usando revisiones sistemaacuteticas

Metaanaacutelisis

Diagramas de bosque

Evaluaciones raacutepidas de evidencia

La importancia de la repeticioacuten y la corroboracioacuten

Anaacutelisis de revisiones coacutemo evaluar los conjuntos de evidencia de alta calidad

Mensajes clave de la Parte 2 de la Seccioacuten C

42

SECCIOacuteN D iquestDoacutende debe buscar la evidencia 43

Buacutesqueda de evidencia de investigacioacuten 43

Fuentes de revisiones sistemaacuteticas y otras investigaciones para el sector humanitario 44

Mensajes clave de la Seccioacuten D 45

NOTAS FINALES

Referencias y notas finales 46

IacuteNDICE

3 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 4

La evidencia cuestiona lo que podriacuteamos pensar que es sentido comuacuten conocimiento percibido o recibido

Por ejemplo por mucho tiempo se creyoacute que la malnutricioacuten aguda severa requeriacutea un tratamiento especializado en centros de hospitalizacioacuten con productos terapeacuteuticos a pesar de que este modelo presentaba una serie de desafiacuteos para el tratamiento eficaz tanto para los sistemas de salud como para los pacientes A mediados de la deacutecada de 1990 se desarrollaron alimentos terapeacuteuticos listos para utilizar En 2000 los proyectos piloto iniciales comenzaron a poner a prueba el enfoque de Gestioacuten Comunitaria de la Malnutricioacuten Aguda (CMAM) durante emergencias humanitarias1 Se descubrioacute que era tan efectivo que recibioacute el apoyo de agencias de las Naciones Unidas en 20072 y hoy en diacutea se considera el estaacutendar de cuidado para la gestioacuten de la malnutricioacuten aguda en contextos de emergencia y desarrollo

Debido a que los recursos financieros y de otros tipos son limitados y a menudo insuficientes en el sector humanitario no podemos permitirnos malgastar dichos recursos en poliacuteticas y programas que no funcionan Las intervenciones en cualquier sector pueden tener resultados tanto positivos como negativos y consecuencias previstas e imprevistas Incluso en los casos

en los que invertir dinero para solucionar un problema supuestamente traeraacute beneficios necesitamos preguntarnos si ese dinero podriacutea invertirse de manera maacutes eficaz en otro sector por ejemplo en una intervencioacuten humanitaria diferente La evidencia de investigacioacuten puede ayudarle a tomar decisiones informadas sobre las intervenciones maacutes eficaces que aportar en un contexto de emergencia

La evidencia es un campo cuestionado con opiniones discrepantes sobre queacute se deberiacutea valorar maacutes o considerar maacutes relevante para los responsables de la toma de decisiones3 No obstante para el propoacutesito de esta guiacutea praacutectica hacemos hincapieacute en la investigacioacuten basada en las nociones cientiacuteficas de prueba validez confiabilidad y que tiene un sesgo reducido Dicha investigacioacuten tiene la ventaja del rigor la relevancia y la independencia Nos enfocamos en los estudios de poblacioacuten que pretenden generar respuestas promedio que luego necesitan ser contextualizadas por ejemplo teniendo en cuenta factores culturales (como el uso de meacutedicos de sexo masculino para examinar y tratar a pacientes de sexo femenino) y asuntos de viabilidad (como la capacidad de realizar una intervencioacuten en el periacuteodo posterior a un desastre cuando el acceso a las poblaciones o a los recursos puede estar especialmente restringido)

Introduccioacuten

La evidencia proveniente de la investigacioacuten y la evaluacioacuten puede ayudarle a comprender queacute funciona doacutende por queacute y para quieacuten Tambieacuten puede indicarle queacute no funciona y ayudarle a evitar repetir los fracasos de otros mediante el aprendizaje a partir de las evaluaciones de programas humanitarios infructuosos Asimismo la evidencia puede guiar el disentildeo de las maneras maacutes eficaces para ejecutar intervenciones especiacuteficas

INTRODUCCIOacuteNVOLVER AL IacuteNDICE

5 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INTRODUCCIOacuteN

Hemos creado esta guiacutea para ayudarle a aprovechar al maacuteximo la evidencia de investigacioacuten cuando se encuentre en una emergencia humanitaria o planificando para una proacutexima emergencia Nuestra intencioacuten es ayudarle a encontrar y utilizar la evidencia sobre las intervenciones las medidas y las estrategias que podriacutean ayudarle a tomar decisiones informadas Esta guiacutea no se trata de coacutemo generar maacutes evidencia de investigacioacuten Se trata de utilizar y comprender la evidencia existente y reconocer cuaacutendo hace falta buena evidencia Debe ayudarle a fomentar su confianza para compilar asimilar simplificar e interpretar una base de evidencia soacutelida de la investigacioacuten existente y a pensar coacutemo podriacutea evaluar sus propios proyectos y encargar investigaciones o evaluaciones

COacuteMO USAR ESTA GUIacuteA

Esta guiacutea estaacute dividida en cuatro secciones principales

iquestQUIEacuteN PUEDE UTILIZAR ESTA GUIacuteA

Esta guiacutea praacutectica estaacute dirigida principalmente a los responsables de la toma de decisiones humanitarias y a los meacutedicos que trabajan sobre el terreno o en las sedes de organizaciones donantes internacionales nacionales o no gubernamentales Serviraacute de ayuda a la hora de tomar decisiones sobre la financiacioacuten la supervisioacuten la ejecucioacuten o la evaluacioacuten de intervenciones humanitarias No estaacute dirigida a evaluadores e investigadores capacitados sino que intenta fomentar que audiencias maacutes amplias del sector humanitario exijan evidencia de investigacioacuten

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

SECCIOacuteN D iquestDoacutende debe buscar la evidenciaEsta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

SECCIOacuteN A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten

Esta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 6

Para comenzar seamos claros sobre a queacute no nos referimos No estamos hablando de tomar decisiones siguiendo ciegamente las conclusiones riacutegidas de la investigacioacuten El criterio profesional y otras fuentes de informacioacuten tales como los comentarios de las partes interesadas siempre seraacuten importantes Esta guiacutea praacutectica no se trata de reemplazar el criterio profesional sino de aumentar el uso de la evidencia en la accioacuten humanitaria

Una buena manera de comenzar a definir a queacute nos referimos con esto se puede tomar prestada de la medicina Hace maacutes de dos deacutecadas David Sackett y sus colegas propusieron la siguiente definicioacuten que ha perdurado con el paso del tiempo

laquoLa medicina basada en evidencia es el uso consciente expliacutecito y sensato de la mejor evidencia actual en la toma de decisiones sobre el cuidado de cada paciente La praacutectica de la medicina basada en evidencia significa integrar la experiencia cliacutenica individual con la mejor evidencia cliacutenica externa disponible de la investigacioacuten sistemaacuteticaraquo4

Este intento por definir la medicina basada en evidencia no fue el primero5 pero ha sido influyente y es igual de relevante para el sector humanitario como para otros sectores Pone eacutenfasis en coacutemo la investigacioacuten puede complementar el criterio profesional u otras fuentes de informacioacuten y reconoce la importancia

iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacutenEsta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

de la evidencia en asuntos como la viabilidad la preferencia y la cultura

En un campo como el del sector humanitario en el que se requiere maacutes y mejor evidencia6 podriacuteamos asumir que cualquier modelo de buena toma de decisiones debe tener cuidado de no depender uacutenicamente del criterio profesional que no esteacute avalado por evidencia cientiacutefica Maacutes adelante en esta seccioacuten leeraacute acerca de coacutemo todos podemos ser laquopredeciblemente irracionalesraquo y consciente o inconscientemente cometer errores de criterio importantes Exploraremos coacutemo mitigar dichos errores de criterio en las secciones posteriores Sin embargo otros modelos de toma de decisiones tambieacuten han hecho hincapieacute en la importancia de combinar el conocimiento de la evidencia con el criterio El sector humanitario es un aacuterea sensible en la cual necesitamos tener en cuenta las poliacuteticas internacionales y locales y las dinaacutemicas entre los diversos actores involucrados en la prestacioacuten de ayuda humanitaria En ocasiones esto determinaraacute el acceso a la evidencia y la informacioacuten pero tambieacuten coacutemo se presta la ayuda humanitaria No obstante la importancia de la evidencia perdura y como se indica en el informe de la ALNAP de 2014 laquola incapacidad de producir y utilizar evidencia en la poliacutetica y en la respuesta hace que la accioacuten humanitaria sea menos eficaz menos eacutetica y menos responsableraquo7

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

7 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

iquestQUEacute ES LA laquoEVIDENCIAraquo Y POR QUEacute NOS CENTRAMOS EN LA INVESTIGACIOacuteN

El Oxford English Dictionary define laquoevidenciaraquo como laquoel conjunto de hechos o la informacioacuten disponibles que indican siuna creencia o proposicioacuten es verdaderao vaacutelidaraquo8 y del mismo modo en elinforme de la ALNAP sobre el estado de laevidencia en el sector humanitario PaulKnox Clarke y James Darcy la definieroncomo laquola informacioacuten que ayuda acorroborar y probarrefutar la verdad deuna propuesta especiacuteficaraquo7 Nos basamosen estas definiciones porque muchasotras tienden a ser de poca ayuda por serdemasiado inclusivas (en determinadasocasiones incluyen casi todos los tipos deinformacioacuten) o bien por ser demasiadovagas y abstractas

Figura A1 Los cuatro elementos de la toma de decisiones basada en evidencia

Basado en Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Aacutemsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DECISIOacuteNEXPERIENCIA

Y CRITERIO DE LOS MEacuteDICOS

INVESTIGACIOacuteN Y EVALUACIOacuteN

CONTEXTO ORGANIZACIOacuteN

AGENTES CIRCUNSTANCIAS

PARTES INTERESADAS

(p ej empleados preferencias o

valores)

La Figura A1 muestra los diferentes elementos que deben formar parte de la toma de decisiones basada en evidencia En esta guiacutea praacutectica nos centramos en el ciacuterculo superior del diagrama investigacioacuten y evaluacioacuten

Tal y como afirman los autores del informe de la Alliance for Useful Evidence laquoWhat Counts as Good Evidenceraquo (iquestQueacute se considera una buena evidencia) la realizacioacuten y la publicacioacuten de la investigacioacuten implican la documentacioacuten expliacutecita de la metodologiacutea la revisioacuten por pares y el control externo dando como resultado rigurosidad y transparencia Estas caracteriacutesticas contribuyen al caraacutecter sistemaacutetico de la investigacioacuten y ayudan a proporcionar un medio para evaluar la fiabilidad de los resultados Tambieacuten ofrecen la posibilidad de evaluar la validez de una afirmacioacuten en comparacioacuten con otra9

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 5: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 4

La evidencia cuestiona lo que podriacuteamos pensar que es sentido comuacuten conocimiento percibido o recibido

Por ejemplo por mucho tiempo se creyoacute que la malnutricioacuten aguda severa requeriacutea un tratamiento especializado en centros de hospitalizacioacuten con productos terapeacuteuticos a pesar de que este modelo presentaba una serie de desafiacuteos para el tratamiento eficaz tanto para los sistemas de salud como para los pacientes A mediados de la deacutecada de 1990 se desarrollaron alimentos terapeacuteuticos listos para utilizar En 2000 los proyectos piloto iniciales comenzaron a poner a prueba el enfoque de Gestioacuten Comunitaria de la Malnutricioacuten Aguda (CMAM) durante emergencias humanitarias1 Se descubrioacute que era tan efectivo que recibioacute el apoyo de agencias de las Naciones Unidas en 20072 y hoy en diacutea se considera el estaacutendar de cuidado para la gestioacuten de la malnutricioacuten aguda en contextos de emergencia y desarrollo

Debido a que los recursos financieros y de otros tipos son limitados y a menudo insuficientes en el sector humanitario no podemos permitirnos malgastar dichos recursos en poliacuteticas y programas que no funcionan Las intervenciones en cualquier sector pueden tener resultados tanto positivos como negativos y consecuencias previstas e imprevistas Incluso en los casos

en los que invertir dinero para solucionar un problema supuestamente traeraacute beneficios necesitamos preguntarnos si ese dinero podriacutea invertirse de manera maacutes eficaz en otro sector por ejemplo en una intervencioacuten humanitaria diferente La evidencia de investigacioacuten puede ayudarle a tomar decisiones informadas sobre las intervenciones maacutes eficaces que aportar en un contexto de emergencia

La evidencia es un campo cuestionado con opiniones discrepantes sobre queacute se deberiacutea valorar maacutes o considerar maacutes relevante para los responsables de la toma de decisiones3 No obstante para el propoacutesito de esta guiacutea praacutectica hacemos hincapieacute en la investigacioacuten basada en las nociones cientiacuteficas de prueba validez confiabilidad y que tiene un sesgo reducido Dicha investigacioacuten tiene la ventaja del rigor la relevancia y la independencia Nos enfocamos en los estudios de poblacioacuten que pretenden generar respuestas promedio que luego necesitan ser contextualizadas por ejemplo teniendo en cuenta factores culturales (como el uso de meacutedicos de sexo masculino para examinar y tratar a pacientes de sexo femenino) y asuntos de viabilidad (como la capacidad de realizar una intervencioacuten en el periacuteodo posterior a un desastre cuando el acceso a las poblaciones o a los recursos puede estar especialmente restringido)

Introduccioacuten

La evidencia proveniente de la investigacioacuten y la evaluacioacuten puede ayudarle a comprender queacute funciona doacutende por queacute y para quieacuten Tambieacuten puede indicarle queacute no funciona y ayudarle a evitar repetir los fracasos de otros mediante el aprendizaje a partir de las evaluaciones de programas humanitarios infructuosos Asimismo la evidencia puede guiar el disentildeo de las maneras maacutes eficaces para ejecutar intervenciones especiacuteficas

INTRODUCCIOacuteNVOLVER AL IacuteNDICE

5 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INTRODUCCIOacuteN

Hemos creado esta guiacutea para ayudarle a aprovechar al maacuteximo la evidencia de investigacioacuten cuando se encuentre en una emergencia humanitaria o planificando para una proacutexima emergencia Nuestra intencioacuten es ayudarle a encontrar y utilizar la evidencia sobre las intervenciones las medidas y las estrategias que podriacutean ayudarle a tomar decisiones informadas Esta guiacutea no se trata de coacutemo generar maacutes evidencia de investigacioacuten Se trata de utilizar y comprender la evidencia existente y reconocer cuaacutendo hace falta buena evidencia Debe ayudarle a fomentar su confianza para compilar asimilar simplificar e interpretar una base de evidencia soacutelida de la investigacioacuten existente y a pensar coacutemo podriacutea evaluar sus propios proyectos y encargar investigaciones o evaluaciones

COacuteMO USAR ESTA GUIacuteA

Esta guiacutea estaacute dividida en cuatro secciones principales

iquestQUIEacuteN PUEDE UTILIZAR ESTA GUIacuteA

Esta guiacutea praacutectica estaacute dirigida principalmente a los responsables de la toma de decisiones humanitarias y a los meacutedicos que trabajan sobre el terreno o en las sedes de organizaciones donantes internacionales nacionales o no gubernamentales Serviraacute de ayuda a la hora de tomar decisiones sobre la financiacioacuten la supervisioacuten la ejecucioacuten o la evaluacioacuten de intervenciones humanitarias No estaacute dirigida a evaluadores e investigadores capacitados sino que intenta fomentar que audiencias maacutes amplias del sector humanitario exijan evidencia de investigacioacuten

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

SECCIOacuteN D iquestDoacutende debe buscar la evidenciaEsta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

SECCIOacuteN A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten

Esta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 6

Para comenzar seamos claros sobre a queacute no nos referimos No estamos hablando de tomar decisiones siguiendo ciegamente las conclusiones riacutegidas de la investigacioacuten El criterio profesional y otras fuentes de informacioacuten tales como los comentarios de las partes interesadas siempre seraacuten importantes Esta guiacutea praacutectica no se trata de reemplazar el criterio profesional sino de aumentar el uso de la evidencia en la accioacuten humanitaria

Una buena manera de comenzar a definir a queacute nos referimos con esto se puede tomar prestada de la medicina Hace maacutes de dos deacutecadas David Sackett y sus colegas propusieron la siguiente definicioacuten que ha perdurado con el paso del tiempo

laquoLa medicina basada en evidencia es el uso consciente expliacutecito y sensato de la mejor evidencia actual en la toma de decisiones sobre el cuidado de cada paciente La praacutectica de la medicina basada en evidencia significa integrar la experiencia cliacutenica individual con la mejor evidencia cliacutenica externa disponible de la investigacioacuten sistemaacuteticaraquo4

Este intento por definir la medicina basada en evidencia no fue el primero5 pero ha sido influyente y es igual de relevante para el sector humanitario como para otros sectores Pone eacutenfasis en coacutemo la investigacioacuten puede complementar el criterio profesional u otras fuentes de informacioacuten y reconoce la importancia

iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacutenEsta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

de la evidencia en asuntos como la viabilidad la preferencia y la cultura

En un campo como el del sector humanitario en el que se requiere maacutes y mejor evidencia6 podriacuteamos asumir que cualquier modelo de buena toma de decisiones debe tener cuidado de no depender uacutenicamente del criterio profesional que no esteacute avalado por evidencia cientiacutefica Maacutes adelante en esta seccioacuten leeraacute acerca de coacutemo todos podemos ser laquopredeciblemente irracionalesraquo y consciente o inconscientemente cometer errores de criterio importantes Exploraremos coacutemo mitigar dichos errores de criterio en las secciones posteriores Sin embargo otros modelos de toma de decisiones tambieacuten han hecho hincapieacute en la importancia de combinar el conocimiento de la evidencia con el criterio El sector humanitario es un aacuterea sensible en la cual necesitamos tener en cuenta las poliacuteticas internacionales y locales y las dinaacutemicas entre los diversos actores involucrados en la prestacioacuten de ayuda humanitaria En ocasiones esto determinaraacute el acceso a la evidencia y la informacioacuten pero tambieacuten coacutemo se presta la ayuda humanitaria No obstante la importancia de la evidencia perdura y como se indica en el informe de la ALNAP de 2014 laquola incapacidad de producir y utilizar evidencia en la poliacutetica y en la respuesta hace que la accioacuten humanitaria sea menos eficaz menos eacutetica y menos responsableraquo7

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

7 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

iquestQUEacute ES LA laquoEVIDENCIAraquo Y POR QUEacute NOS CENTRAMOS EN LA INVESTIGACIOacuteN

El Oxford English Dictionary define laquoevidenciaraquo como laquoel conjunto de hechos o la informacioacuten disponibles que indican siuna creencia o proposicioacuten es verdaderao vaacutelidaraquo8 y del mismo modo en elinforme de la ALNAP sobre el estado de laevidencia en el sector humanitario PaulKnox Clarke y James Darcy la definieroncomo laquola informacioacuten que ayuda acorroborar y probarrefutar la verdad deuna propuesta especiacuteficaraquo7 Nos basamosen estas definiciones porque muchasotras tienden a ser de poca ayuda por serdemasiado inclusivas (en determinadasocasiones incluyen casi todos los tipos deinformacioacuten) o bien por ser demasiadovagas y abstractas

Figura A1 Los cuatro elementos de la toma de decisiones basada en evidencia

Basado en Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Aacutemsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DECISIOacuteNEXPERIENCIA

Y CRITERIO DE LOS MEacuteDICOS

INVESTIGACIOacuteN Y EVALUACIOacuteN

CONTEXTO ORGANIZACIOacuteN

AGENTES CIRCUNSTANCIAS

PARTES INTERESADAS

(p ej empleados preferencias o

valores)

La Figura A1 muestra los diferentes elementos que deben formar parte de la toma de decisiones basada en evidencia En esta guiacutea praacutectica nos centramos en el ciacuterculo superior del diagrama investigacioacuten y evaluacioacuten

Tal y como afirman los autores del informe de la Alliance for Useful Evidence laquoWhat Counts as Good Evidenceraquo (iquestQueacute se considera una buena evidencia) la realizacioacuten y la publicacioacuten de la investigacioacuten implican la documentacioacuten expliacutecita de la metodologiacutea la revisioacuten por pares y el control externo dando como resultado rigurosidad y transparencia Estas caracteriacutesticas contribuyen al caraacutecter sistemaacutetico de la investigacioacuten y ayudan a proporcionar un medio para evaluar la fiabilidad de los resultados Tambieacuten ofrecen la posibilidad de evaluar la validez de una afirmacioacuten en comparacioacuten con otra9

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 6: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

5 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INTRODUCCIOacuteN

Hemos creado esta guiacutea para ayudarle a aprovechar al maacuteximo la evidencia de investigacioacuten cuando se encuentre en una emergencia humanitaria o planificando para una proacutexima emergencia Nuestra intencioacuten es ayudarle a encontrar y utilizar la evidencia sobre las intervenciones las medidas y las estrategias que podriacutean ayudarle a tomar decisiones informadas Esta guiacutea no se trata de coacutemo generar maacutes evidencia de investigacioacuten Se trata de utilizar y comprender la evidencia existente y reconocer cuaacutendo hace falta buena evidencia Debe ayudarle a fomentar su confianza para compilar asimilar simplificar e interpretar una base de evidencia soacutelida de la investigacioacuten existente y a pensar coacutemo podriacutea evaluar sus propios proyectos y encargar investigaciones o evaluaciones

COacuteMO USAR ESTA GUIacuteA

Esta guiacutea estaacute dividida en cuatro secciones principales

iquestQUIEacuteN PUEDE UTILIZAR ESTA GUIacuteA

Esta guiacutea praacutectica estaacute dirigida principalmente a los responsables de la toma de decisiones humanitarias y a los meacutedicos que trabajan sobre el terreno o en las sedes de organizaciones donantes internacionales nacionales o no gubernamentales Serviraacute de ayuda a la hora de tomar decisiones sobre la financiacioacuten la supervisioacuten la ejecucioacuten o la evaluacioacuten de intervenciones humanitarias No estaacute dirigida a evaluadores e investigadores capacitados sino que intenta fomentar que audiencias maacutes amplias del sector humanitario exijan evidencia de investigacioacuten

SECCIOacuteN B iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

SECCIOacuteN D iquestDoacutende debe buscar la evidenciaEsta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

SECCIOacuteN A iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacuten

Esta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

SECCIOacuteN C iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 6

Para comenzar seamos claros sobre a queacute no nos referimos No estamos hablando de tomar decisiones siguiendo ciegamente las conclusiones riacutegidas de la investigacioacuten El criterio profesional y otras fuentes de informacioacuten tales como los comentarios de las partes interesadas siempre seraacuten importantes Esta guiacutea praacutectica no se trata de reemplazar el criterio profesional sino de aumentar el uso de la evidencia en la accioacuten humanitaria

Una buena manera de comenzar a definir a queacute nos referimos con esto se puede tomar prestada de la medicina Hace maacutes de dos deacutecadas David Sackett y sus colegas propusieron la siguiente definicioacuten que ha perdurado con el paso del tiempo

laquoLa medicina basada en evidencia es el uso consciente expliacutecito y sensato de la mejor evidencia actual en la toma de decisiones sobre el cuidado de cada paciente La praacutectica de la medicina basada en evidencia significa integrar la experiencia cliacutenica individual con la mejor evidencia cliacutenica externa disponible de la investigacioacuten sistemaacuteticaraquo4

Este intento por definir la medicina basada en evidencia no fue el primero5 pero ha sido influyente y es igual de relevante para el sector humanitario como para otros sectores Pone eacutenfasis en coacutemo la investigacioacuten puede complementar el criterio profesional u otras fuentes de informacioacuten y reconoce la importancia

iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacutenEsta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

de la evidencia en asuntos como la viabilidad la preferencia y la cultura

En un campo como el del sector humanitario en el que se requiere maacutes y mejor evidencia6 podriacuteamos asumir que cualquier modelo de buena toma de decisiones debe tener cuidado de no depender uacutenicamente del criterio profesional que no esteacute avalado por evidencia cientiacutefica Maacutes adelante en esta seccioacuten leeraacute acerca de coacutemo todos podemos ser laquopredeciblemente irracionalesraquo y consciente o inconscientemente cometer errores de criterio importantes Exploraremos coacutemo mitigar dichos errores de criterio en las secciones posteriores Sin embargo otros modelos de toma de decisiones tambieacuten han hecho hincapieacute en la importancia de combinar el conocimiento de la evidencia con el criterio El sector humanitario es un aacuterea sensible en la cual necesitamos tener en cuenta las poliacuteticas internacionales y locales y las dinaacutemicas entre los diversos actores involucrados en la prestacioacuten de ayuda humanitaria En ocasiones esto determinaraacute el acceso a la evidencia y la informacioacuten pero tambieacuten coacutemo se presta la ayuda humanitaria No obstante la importancia de la evidencia perdura y como se indica en el informe de la ALNAP de 2014 laquola incapacidad de producir y utilizar evidencia en la poliacutetica y en la respuesta hace que la accioacuten humanitaria sea menos eficaz menos eacutetica y menos responsableraquo7

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

7 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

iquestQUEacute ES LA laquoEVIDENCIAraquo Y POR QUEacute NOS CENTRAMOS EN LA INVESTIGACIOacuteN

El Oxford English Dictionary define laquoevidenciaraquo como laquoel conjunto de hechos o la informacioacuten disponibles que indican siuna creencia o proposicioacuten es verdaderao vaacutelidaraquo8 y del mismo modo en elinforme de la ALNAP sobre el estado de laevidencia en el sector humanitario PaulKnox Clarke y James Darcy la definieroncomo laquola informacioacuten que ayuda acorroborar y probarrefutar la verdad deuna propuesta especiacuteficaraquo7 Nos basamosen estas definiciones porque muchasotras tienden a ser de poca ayuda por serdemasiado inclusivas (en determinadasocasiones incluyen casi todos los tipos deinformacioacuten) o bien por ser demasiadovagas y abstractas

Figura A1 Los cuatro elementos de la toma de decisiones basada en evidencia

Basado en Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Aacutemsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DECISIOacuteNEXPERIENCIA

Y CRITERIO DE LOS MEacuteDICOS

INVESTIGACIOacuteN Y EVALUACIOacuteN

CONTEXTO ORGANIZACIOacuteN

AGENTES CIRCUNSTANCIAS

PARTES INTERESADAS

(p ej empleados preferencias o

valores)

La Figura A1 muestra los diferentes elementos que deben formar parte de la toma de decisiones basada en evidencia En esta guiacutea praacutectica nos centramos en el ciacuterculo superior del diagrama investigacioacuten y evaluacioacuten

Tal y como afirman los autores del informe de la Alliance for Useful Evidence laquoWhat Counts as Good Evidenceraquo (iquestQueacute se considera una buena evidencia) la realizacioacuten y la publicacioacuten de la investigacioacuten implican la documentacioacuten expliacutecita de la metodologiacutea la revisioacuten por pares y el control externo dando como resultado rigurosidad y transparencia Estas caracteriacutesticas contribuyen al caraacutecter sistemaacutetico de la investigacioacuten y ayudan a proporcionar un medio para evaluar la fiabilidad de los resultados Tambieacuten ofrecen la posibilidad de evaluar la validez de una afirmacioacuten en comparacioacuten con otra9

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 7: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 6

Para comenzar seamos claros sobre a queacute no nos referimos No estamos hablando de tomar decisiones siguiendo ciegamente las conclusiones riacutegidas de la investigacioacuten El criterio profesional y otras fuentes de informacioacuten tales como los comentarios de las partes interesadas siempre seraacuten importantes Esta guiacutea praacutectica no se trata de reemplazar el criterio profesional sino de aumentar el uso de la evidencia en la accioacuten humanitaria

Una buena manera de comenzar a definir a queacute nos referimos con esto se puede tomar prestada de la medicina Hace maacutes de dos deacutecadas David Sackett y sus colegas propusieron la siguiente definicioacuten que ha perdurado con el paso del tiempo

laquoLa medicina basada en evidencia es el uso consciente expliacutecito y sensato de la mejor evidencia actual en la toma de decisiones sobre el cuidado de cada paciente La praacutectica de la medicina basada en evidencia significa integrar la experiencia cliacutenica individual con la mejor evidencia cliacutenica externa disponible de la investigacioacuten sistemaacuteticaraquo4

Este intento por definir la medicina basada en evidencia no fue el primero5 pero ha sido influyente y es igual de relevante para el sector humanitario como para otros sectores Pone eacutenfasis en coacutemo la investigacioacuten puede complementar el criterio profesional u otras fuentes de informacioacuten y reconoce la importancia

iquestQueacute es la toma de decisiones basada en evidencia y por queacute centrarse en la investigacioacutenEsta seccioacuten analiza a queacute nos referimos con la toma de decisiones basada en evidencia y por queacute la investigacioacuten es un elemento fundamental de esta

de la evidencia en asuntos como la viabilidad la preferencia y la cultura

En un campo como el del sector humanitario en el que se requiere maacutes y mejor evidencia6 podriacuteamos asumir que cualquier modelo de buena toma de decisiones debe tener cuidado de no depender uacutenicamente del criterio profesional que no esteacute avalado por evidencia cientiacutefica Maacutes adelante en esta seccioacuten leeraacute acerca de coacutemo todos podemos ser laquopredeciblemente irracionalesraquo y consciente o inconscientemente cometer errores de criterio importantes Exploraremos coacutemo mitigar dichos errores de criterio en las secciones posteriores Sin embargo otros modelos de toma de decisiones tambieacuten han hecho hincapieacute en la importancia de combinar el conocimiento de la evidencia con el criterio El sector humanitario es un aacuterea sensible en la cual necesitamos tener en cuenta las poliacuteticas internacionales y locales y las dinaacutemicas entre los diversos actores involucrados en la prestacioacuten de ayuda humanitaria En ocasiones esto determinaraacute el acceso a la evidencia y la informacioacuten pero tambieacuten coacutemo se presta la ayuda humanitaria No obstante la importancia de la evidencia perdura y como se indica en el informe de la ALNAP de 2014 laquola incapacidad de producir y utilizar evidencia en la poliacutetica y en la respuesta hace que la accioacuten humanitaria sea menos eficaz menos eacutetica y menos responsableraquo7

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

7 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

iquestQUEacute ES LA laquoEVIDENCIAraquo Y POR QUEacute NOS CENTRAMOS EN LA INVESTIGACIOacuteN

El Oxford English Dictionary define laquoevidenciaraquo como laquoel conjunto de hechos o la informacioacuten disponibles que indican siuna creencia o proposicioacuten es verdaderao vaacutelidaraquo8 y del mismo modo en elinforme de la ALNAP sobre el estado de laevidencia en el sector humanitario PaulKnox Clarke y James Darcy la definieroncomo laquola informacioacuten que ayuda acorroborar y probarrefutar la verdad deuna propuesta especiacuteficaraquo7 Nos basamosen estas definiciones porque muchasotras tienden a ser de poca ayuda por serdemasiado inclusivas (en determinadasocasiones incluyen casi todos los tipos deinformacioacuten) o bien por ser demasiadovagas y abstractas

Figura A1 Los cuatro elementos de la toma de decisiones basada en evidencia

Basado en Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Aacutemsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DECISIOacuteNEXPERIENCIA

Y CRITERIO DE LOS MEacuteDICOS

INVESTIGACIOacuteN Y EVALUACIOacuteN

CONTEXTO ORGANIZACIOacuteN

AGENTES CIRCUNSTANCIAS

PARTES INTERESADAS

(p ej empleados preferencias o

valores)

La Figura A1 muestra los diferentes elementos que deben formar parte de la toma de decisiones basada en evidencia En esta guiacutea praacutectica nos centramos en el ciacuterculo superior del diagrama investigacioacuten y evaluacioacuten

Tal y como afirman los autores del informe de la Alliance for Useful Evidence laquoWhat Counts as Good Evidenceraquo (iquestQueacute se considera una buena evidencia) la realizacioacuten y la publicacioacuten de la investigacioacuten implican la documentacioacuten expliacutecita de la metodologiacutea la revisioacuten por pares y el control externo dando como resultado rigurosidad y transparencia Estas caracteriacutesticas contribuyen al caraacutecter sistemaacutetico de la investigacioacuten y ayudan a proporcionar un medio para evaluar la fiabilidad de los resultados Tambieacuten ofrecen la posibilidad de evaluar la validez de una afirmacioacuten en comparacioacuten con otra9

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 8: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

7 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

iquestQUEacute ES LA laquoEVIDENCIAraquo Y POR QUEacute NOS CENTRAMOS EN LA INVESTIGACIOacuteN

El Oxford English Dictionary define laquoevidenciaraquo como laquoel conjunto de hechos o la informacioacuten disponibles que indican siuna creencia o proposicioacuten es verdaderao vaacutelidaraquo8 y del mismo modo en elinforme de la ALNAP sobre el estado de laevidencia en el sector humanitario PaulKnox Clarke y James Darcy la definieroncomo laquola informacioacuten que ayuda acorroborar y probarrefutar la verdad deuna propuesta especiacuteficaraquo7 Nos basamosen estas definiciones porque muchasotras tienden a ser de poca ayuda por serdemasiado inclusivas (en determinadasocasiones incluyen casi todos los tipos deinformacioacuten) o bien por ser demasiadovagas y abstractas

Figura A1 Los cuatro elementos de la toma de decisiones basada en evidencia

Basado en Barends E Rousseau DM Briner RB (2014) Evidence-based Management The Basic Principles Aacutemsterdam Center for Evidence-Based Management [wwwcebmaorgwp-contentuploadsEvidence-Based-Practice-The-Basic-Principlespdf]

DECISIOacuteNEXPERIENCIA

Y CRITERIO DE LOS MEacuteDICOS

INVESTIGACIOacuteN Y EVALUACIOacuteN

CONTEXTO ORGANIZACIOacuteN

AGENTES CIRCUNSTANCIAS

PARTES INTERESADAS

(p ej empleados preferencias o

valores)

La Figura A1 muestra los diferentes elementos que deben formar parte de la toma de decisiones basada en evidencia En esta guiacutea praacutectica nos centramos en el ciacuterculo superior del diagrama investigacioacuten y evaluacioacuten

Tal y como afirman los autores del informe de la Alliance for Useful Evidence laquoWhat Counts as Good Evidenceraquo (iquestQueacute se considera una buena evidencia) la realizacioacuten y la publicacioacuten de la investigacioacuten implican la documentacioacuten expliacutecita de la metodologiacutea la revisioacuten por pares y el control externo dando como resultado rigurosidad y transparencia Estas caracteriacutesticas contribuyen al caraacutecter sistemaacutetico de la investigacioacuten y ayudan a proporcionar un medio para evaluar la fiabilidad de los resultados Tambieacuten ofrecen la posibilidad de evaluar la validez de una afirmacioacuten en comparacioacuten con otra9

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 9: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 8

Esta guiacutea praacutectica se centra en la investigacioacuten pero hay muchas superposiciones con el campo de la evaluacioacuten de modo que en la Seccioacuten C trataremos algunos enfoques para evaluar el impacto y el proceso Tambieacuten le damos una mayor importancia a la investigacioacuten que se ocupa del impacto ndashsi algo ha tenido resultados positivos o negativosndash porque las preguntas relacionadas con el impacto son vitales para aquellos que estaacuten involucrados en la accioacuten humanitaria Estos agentes se preocupan por mostrar su laquoimpactoraquo en las poblaciones sus laquoresultadosraquo en teacuterminos internacionales o laquoqueacute funcionaraquo para los gobiernos y los proveedores locales e internacionales El lenguaje puede cambiar pero la idea de su investigacioacuten sigue siendo la misma comprobar si realmente han conseguido realizar un cambio Por lo tanto con esta guiacutea pretendemos ayudarle a decidir coacutemo dicha investigacioacuten puede ayudarle a elegir intervenciones medidas y estrategias asiacute como a adoptar las poliacuteticas con mayores probabilidades de producir un cambio positivo A lo largo del documento incluimos ejemplos ilustrativos Asimismo en otras colecciones de estudios de caso tiene a su disposicioacuten maacutes ejemplos del uso de la evidencia en los sectores humanitarios10

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio Los responsables de la toma de decisiones tienen un tiempo y unos recursos limitados de modo que muchos simplemente no

pueden permitirse encargar un estudio de este tipo y esperar hasta que los resultados esteacuten disponibles lo que puede llevar antildeos Quien necesita tomar una decisioacuten en este preciso instante necesita que la evidencia esteacute disponible ahora si no es que ayer y no dentro de uno o maacutes antildeos Por consiguiente los responsables de la toma de decisiones requieren evidencia laquolista para usarraquo y que se pueda combinar con la informacioacuten del contexto local para fundamentar su eleccioacuten Afortunadamente es posible encontrar dicha evidencia y en la Seccioacuten D trataremos algunas de las maneras de coacutemo hacerlo

La investigacioacuten es un proceso participativo con fines didaacutecticos Busca responder a preguntas tales como laquoiquestcuaacutel es el tipo de lesioacuten maacutes comuacuten despueacutes de un terremotoraquo laquoiquestcuaacuteles son los efectos en la violencia de geacutenero de los diferentes meacutetodos de proteccioacuten de mujeres y nintildeosraquo o laquoiquestcuaacutel es la impermeabilidad de un determinado material cuando es utilizado como refugioraquo

La evaluacioacuten es un proceso que implica la valoracioacuten de los resultados y las observaciones en comparacioacuten con los estaacutendares a fin de tomar decisiones Las evaluaciones se plantean preguntas tales como laquoiquestcuaacutel es el tipo de formacioacuten en primeros auxilios que deberiacutea recibir el personal de primera intervencioacutenraquo laquoiquestcuaacutel es la mejor manera de proteger a mujeres y nintildeos contra la violencia de geacuteneroraquo o laquoiquestqueacute material debe emplearse para laconstruccioacuten de carpas en un asentamientocon lluvias torrencialesraquo

Le damos mayor importancia a las investigaciones y las evaluaciones que ya han sido realizadas y se pueden emplear sin que sea necesario realizar un nuevo estudio

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 10: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

9 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La investigacioacuten no requiere necesariamente una evaluacioacuten Sin embargo para la realizacioacuten de una evaluacioacuten siempre se requiere una investigacioacuten Una evaluacioacuten estaacute relacionada con una intervencioacuten que se implementoacute en su momento mientras que la investigacioacuten es maacutes exhaustiva Ademaacutes de incluir evaluaciones la investigacioacuten tambieacuten puede tratar de responder preguntas conceptuales como por ejemplo a la hora de la planificacioacuten de las necesidades que pueden surgir tras un desastre o del desarrollo de una nueva intervencioacuten Sin embargo independientemente de si pensamos en una investigacioacuten o en una evaluacioacuten tenemos que ser conscientes de que la parcialidad puede distorsionar los resultados En la Seccioacuten C nos centramos en algunos de los sesgos que pueden afectar los resultados de un estudio pero tambieacuten es importante ser conscientes de los prejuicios de coacutemo las personas pueden interpretar los resultados de un estudio o que pueden afectar su manera de pensar acerca de la necesidad de una investigacioacuten o su impacto A continuacioacuten tratamos algunos de estos sesgos

EL DESAFIacuteO DE CONFIAR UacuteNICAMENTE EN LA OPINIOacuteN PROFESIONALUna de las razones por las que preferimos una investigacioacuten de buena calidad respecto a confiar uacutenicamente en el criterio profesional es el hecho de que prejuicios involucrados en el criterio profesional pueden hacer que eacuteste sea erroacuteneo Como seres humanos somos laquoprevisiblemente irracionalesraquo11 y podemos tener sesgos cognitivos que distorsionan nuestra forma de pensar Sesgo cognitivo se refiere a nuestra incapacidad de ser totalmente objetivos lo que se puede manifestar de diferentes maneras tales como una distorsioacuten perceptiva juicios imprecisos e interpretaciones incoherentes o irracionales

Incluso con las mejores intenciones los profesionales pueden equivocarse

Tomemos por ejemplo un tipo de error cognitivo el sesgo de confirmacioacuten Este se define como la tendencia a centrarse en la evidencia que se ajusta maacutes a lo que creemos y a ignorar o descartar la que no Incluso los profesionales altamente experimentados pueden caer en esta trampa cognitiva

Ser conscientes de coacutemo podemos llegar a conclusiones precipitadas es importante para que seamos precavidos ante los expertos Pero el sesgo de confirmacioacuten tambieacuten resalta coacutemo cualquiera ndashno soacutelo los expertosndash puede ser muy selectivo a la hora de utilizar la evidencia de investigacioacuten Las personas tienden a buscar la evidencia que se ajusta maacutes a sus creencias ya sea de manera intencional o no Esto puede ser considerado maacutescomo una laquoevidencia basada en poliacuteticaraquoque como una laquopoliacutetica basada enevidenciaraquo escoger y adaptar la evidenciaa las conclusiones que ya hemos fijado ennuestras mentes Si somos generosos sepodriacutea considerar como error inconscientepero en el peor de los casos puede tratarsede una taacutectica deliberada para apoyar unprejuicio mediante el descubrimiento y lapromocioacuten de la evidencia que se ajusta adicho prejuicio al mismo tiempo quese ignora todo aquello que no lo hace

Un fenoacutemeno parecido pero diferente es el del sesgo de optimismo el cual se refiere a laquola tendencia probada de los evaluadores [de proyectos programas y poliacuteticas] a ser demasiado optimistas sobre los paraacutemetros principales del proyecto incluidos los costes de capital los costes operativos la duracioacuten del proyecto y la obtencioacuten de beneficiosraquo12 El sesgo de optimismo puede dar lugar a que se establezcan objetivos para los rendimientos resultados y efectos que son poco realistas e imposibles de alcanzar Christoplos afirmoacute que tras el tsunami del Oceacuteano Iacutendico en 2004 laquolos meacutetodos y las directrices estuvieron llenos de optimismo normativo Se emplearon teacuterminos tales como la red inconsuacutetil para describir las situaciones que iriacutean

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 11: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 10

surgiendo en caso de que se aplicasen los meacutetodos adecuados Se esperaba que las personas los hogares las comunidades y las naciones siguieran un proceso continuo que iba desde el grave sufrimiento humano hasta el desarrollo normal A lo largo de los antildeos este optimismo ha ido desapareciendo La VARD [vinculacioacuten entre ayuda de emergencia rehabilitacioacuten y desarrollo] hace maacutes referencia a un misterio que a un camino dorado Las tensiones poliacuteticas intratables y la inseguridad humana se han asociado con la VARD primero en situaciones posteriores al conflicto y posteriormente cada vez con maacutes frecuencia en los desastres naturalesraquo13

El sesgo de optimismo tanto en relacioacuten con las intervenciones antiguas como con las nuevas a menudo es ocasionado por la falta de evidencia sobre sus verdaderos efectos La investigacioacuten y la evidencia de las evaluaciones de estas intervenciones o de otras similares pueden ayudar a reducir esta incertidumbre

Tal y como sucede en otros sectores existen muchos otros sesgos relacionados con la manera de pensar de las personas que pueden tener un efecto negativo en aquellos que trabajan en el sector humanitario Entre ellos se incluyen

Prejuicio de retrospectiva tendencia a ver los acontecimientos pasados como maacutes predecibles de lo que eran antes de que sucedieran

Aversioacuten a la peacuterdida tendencia a preferir evitar peacuterdidas antes que obtener ganancias

Efecto de encuadre extraer diferentes conclusiones sobre la base de una misma informacioacuten que ha sido presentada de diferentes maneras (p ej iquestprefeririacutea que laquoun 95 volviera a trabajarraquo o que laquoun 5 no volviera a trabajarraquo)

La laquoheuriacutestica de la disponibilidadraquo cuando las personas relacionan el tamantildeo la frecuencia o la probabilidad de un problema con la facilidad de recordarlo o imaginarlo

La laquoheuriacutestica de la representatividadraquo cuando las personas sobrestiman la probabilidad de los acontecimientos vividos

La laquonecesidad de coherenciaraquo el impulso de establecer patrones y relaciones causales cuando en realidad puede que no existan

Sesgo metacognitivo iexclla creencia de que somos inmunes a los sesgos

Esto no quiere decir que el criterio profesional siempre esteacute equivocado Investigadores como Gary Klein han elogiado el criterio intuitivo de los expertos como por ejemplo en su trabajo sobre la laquotoma de decisiones naturalistaraquo14 Los puntos de vista y los instintos de los profesionales pueden ser muy valiosos pero debemos ser conscientes de sus aspectos negativos Tal y como afirmoacute Daniel Kahneman en un artiacuteculo conjunto que escribioacute con el Profesor Klein en American Psychologist la intuicioacuten profesional en ocasiones es maravillosa y en ocasiones es erroacutenea15

VOLVER AL IacuteNDICE

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 12: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN A | iquestQUEacute ES LA TOMA DE DECISIONES BASADA EN EVIDENCIA Y POR QUEacute CENTRARSE EN LA INVESTIGACIOacuteN

11 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

La programacioacuten de transferencias en efectivo (CTP por sus siglas en ingleacutes) ha sido una de las innovaciones maacutes importantes de los uacuteltimos antildeos en el aacutembito de la asistencia humanitaria internacional

En 2016 se pagaron 2800 millones de doacutelares en asistencia humanitaria mediante bonos y pagos en efectivo lo que supone un aumento del 40 desde 2015 y el doble respecto a 201416 El pago en efectivo no solo ha crecido en teacuterminos totales sino tambieacuten como cuota relativa del total de la asistencia humanitaria internacional creciendo del 78 en 2015 al 103 en 201617

Dicho crecimiento se ha visto apoyado por un nuacutemero creciente de evaluaciones dando lugar a un conjunto de evidencia sobre los efectos de los diferentes programas en los resultados a nivel individual y domeacutestico Este conjunto de investigaciones y evaluaciones ha sido fundamental para el desarrollo de la CTP

Tambieacuten sirvioacute de ayuda para abordar los problemas relativos a las transferencias en efectivo tales como la corrupcioacuten y la inseguridad 18 y para aumentar la concienciacioacuten de que el efectivo genera riesgos distintos pero no necesariamente mayores que los de la asistencia en especie19 Se ha demostrado que los beneficios de la CTP abarcan muacuteltiples sectores y serviraacuten de ayuda para el empoderamiento de las mujeres la seguridad alimentaria la educacioacuten y la atencioacuten meacutedica Por lo tanto la CTP es una herramienta aceptada en casi todas las respuestas de emergencia Uno de los eacutexitos clave de la investigacioacuten de la CTP es que la evidencia generada ha sido ampliamente utilizada por las instituciones liacutederes para promover el uso de efectivo en las crisis humanitarias

Sin embargo es necesario que se siga investigando para poder ajustar los programas y maximizar sus beneficios

No defendemos una toma de decisiones que siga ciegamente las conclusiones de la investigacioacuten en detrimento del criterio profesional

Sin embargo tampoco se debe poner la experiencia profesional en un pedestal En ocasiones los expertos estaacuten terriblemente equivocados pues no son inmunes al conjunto de sesgos sociales y cognitivos que afectan tanto a los especialistas como a los legos

Los resultados de la investigacioacuten son solo un tipo de evidencia pero presentan la ventaja de ofrecer mayor rigor relevancia e independencia en comparacioacuten con otros tipos de evidencia

Producir nueva evidencia puede resultar costoso y llevar tiempo pero hay evidencia de buena calidad que estaacute laquolista para usarseraquo (veacutease Seccioacuten D) La investigacioacuten y las evaluaciones de las emergencias actuales pueden orientar futuras intervenciones

Coacutemo ha promovido la investigacioacuten el desarrollo de la programacioacuten de transferencias en efectivo

ESTUDIO DE CASO

Mensajes clave de la Seccioacuten A

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 13: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 12

La evidencia puede mejorar la eficacia de las organizaciones Desde campantildeas maacutes persuasivas hasta la obtencioacuten de fondos de subvencioacuten y desde el desarrollo de la capacidad de toma de decisiones de una organizacioacuten hasta asegurarse de que los programas produzcan los resultados deseados la evidencia puede reforzar su trabajo No importa si usted es una pequentildea organizacioacuten voluntaria o una gran organizacioacuten internacionalIndependientemente de la escala puedehaber investigacioacuten existente que seadapte a sus necesidades

iquestCuaacutendo puede ayudarle la evidenciaEn esta seccioacuten se exploran diferentes escenarios en los que el uso de la evidencia puede servirle de ayuda asiacute como los diferentes tipos de evidencia que podriacutea necesitar en las diferentes etapas de desarrollo o implementacioacuten de una nueva intervencioacuten o poliacutetica

CICLO DE RESPUESTA HUMANITARIALa Oficina de Coordinacioacuten de Asuntos Humanitarios de las Naciones Unidas (OCAH) desarrolloacute el ciclo de respuesta humanitaria para mostrar la serie coordinada de medidas necesarias para ayudar a preparar gestionar y ejecutar la accioacuten humanitaria Consiste en cinco elementos cada paso estaacute basado en el anterior y conduce al siguiente20 La evidencia puede ayudar en la toma de decisiones a medida que avanza en este ciclo

Evaluacioacuten y anaacutelisis de necesidades examinar investigaciones existentes puede ayudar a establecer una base para evaluar las necesidades asiacute como para comprender la naturaleza la magnitud y las dinaacutemicas de problemas especiacuteficos Junto con la recopilacioacuten de nuevos datos del entorno y las circunstancias a las que se enfrenta (o espera enfrentarse) puede ayudar a identificar oportunidades para responder de manera adecuada En algunas circunstancias esto puede resultar especialmente complicado si ha habido pocas oportunidades para realizar investigaciones pertinentes21

Planificacioacuten de respuestas estrateacutegicas al planificar su respuesta estrateacutegica debe buscar evidencia sobre lo que se ha probado y evaluado con anterioridad y que podriacutea ayudarle a tomar una decisioacuten bien informada Esto tambieacuten podriacutea incluir hacer

LA EVIDENCIA PUEDE AYUDARLE DE MUCHAS MANERAS POR EJEMPLO

Empezar a hacer algo

Dejar de hacer algo

Proponer opciones o plantear el caso

Identificar prioridades

Evaluar necesidades

Adaptar los servicios a las necesidades

Disentildear e implementar programas maacutes eficaces

Organizar recaudaciones de fondos

Crear campantildeas de sensibilizacioacuten eficaces

Reforzar la rendicioacuten de cuentas de las partes interesadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 14: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

13 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Figura B1 Ciclo de respuesta humanitaria

EVALUACIOacuteN Y ANAacuteLISIS DE NECESIDADES

PLANIFICACIOacuteN ESTRATEacuteGICA

REVISIOacuteN Y EVALUACIOacuteN OPERATIVAS

POR PARES

MOVILIZACIOacuteN DE RECURSOS

IMPLEMENTACIOacuteN Y MONITOREO

COORDINACIOacuteN

GESTIOacuteN DE LA INFORMACIOacuteN

uso de la evidencia sobre coacutemo comunicar de la mejor manera los posibles riesgos de una situacioacuten a aquellos que podriacutean estar involucrados22

Movilizacioacuten de recursos la aplicacioacuten de una nueva intervencioacuten o poliacutetica requeriraacute la movilizacioacuten de recursos Estos podriacutean ser financieros para pagar las actividades o el personal necesario para realizarlasLa adopcioacuten de un enfoque basado enevidencia para planificar la respuestaestrateacutegica y seleccionar las intervencionesy poliacuteticas que se adoptaraacuten debe hacerque estas tengan una mayor probabilidadde ser eficaces y en consecuenciamaacutes atractivas para los donantes23

Implementacioacuten y monitoreo cuando implemente una intervencioacuten o una

poliacutetica debe pensar en coacutemo puede monitorear e informar su impacto Esto le ayudaraacute a demostrar si estaacute logrando marcar una diferencia

Revisioacuten y evaluacioacuten operativas por pares la revisioacuten operativa por pares puede servir para corregir el rumbo e identificar aacutereas en las que aplicar medidas correctivas inmediatas Junto con una evaluacioacuten de su propia respuesta estrateacutegica y las comparaciones con la evidencia de intervenciones similares puede ayudar a determinar si se necesita hacer ajustes o mejoras en particular para acuerdos de liderazgo la ejecucioacuten de otras fases del ciclo la coordinacioacuten y los mecanismos de rendicioacuten de cuentas ante las personas afectadas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 15: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 14

DESARROLLO Y EJECUCIOacuteN DE UNA NUEVA INTERVENCIOacuteN

Cuando se desarrolla o ejecuta una nueva intervencioacuten o poliacutetica humanitaria es aconsejable empezar por considerar el momento adecuado Diferentes tipos de evidencia seraacuten uacutetiles en distintas etapas de desarrollo o ejecucioacuten y debe reflexionar sobre queacute tipo de investigacioacuten seraacute maacutes apropiada para cada etapa del ciclo de la nueva intervencioacuten o poliacutetica En los comienzos de una nueva iniciativa la investigacioacuten puede identificar retos emergentes y la magnitud del problema Puede utilizarse para planificar el desarrollo y la ejecucioacuten de una nueva intervencioacuten o poliacutetica

La espiral a continuacioacuten fue elaborada por Nesta para reflejar las diferentes etapas del proceso de innovacioacuten y tambieacuten puede utilizarse para planificar el desarrollo de un nuevo enfoque a un problema social24 Se necesitaraacuten distintos tipos de evidencia en las diferentes etapas y el proceso deberaacute ser continuo de manera que cuando llegue al final de la espiral debe empezar de nuevo y encontrarse en un nuevo ciclo A continuacioacuten analizamos las diferentes etapas de esta espiral mientras que algunos ejemplos especiacuteficos de innovaciones exitosas en contextos humanitarios pueden encontrarse en un estudio de 15 proyectos financiados por el Fondo de Innovacioacuten Humanitaria25

Figura B2 La espiral de innovacioacuten de Nesta

1

2

3

45

6

7

1 Anaacutelisis de oportunidades y retos

2 Produccioacuten de ideas

3 Desarrollo y prueba

4 Planteamiento del caso

5 Ejecucioacuten e implementacioacuten

6 Crecimiento ampliacioacuten y difusioacuten

7 Cambio de sistemas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 16: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

15 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

1 ANAacuteLISIS DE OPORTUNIDADES Y RETOS

Trabajar con las investigaciones actuales le ayudaraacute a comprender la naturaleza la magnitud y la dinaacutemica de los problemas que enfrenta y las oportunidades para responder de manera apropiada (Veacutease el siguiente caso de estudio)

Con el principio de laquono dejar a nadie atraacutesraquo integrado en los ODS existe un acuerdo entre la mayoriacutea de los asociados para el desarrollo que establece que ademaacutes de abordar las necesidades de salud humanitarias en entornos de crisis esto se debe realizar de manera que apoye el desarrollo de un sistema de salud igualitario a largo plazo

El ReBUILD Research Programme Consortium es una asociacioacuten internacional de investigacioacuten financiada por UK Aid que trabaja para mejorar el acceso de los pobres a la atencioacuten sanitaria eficaz en entornos posconflicto a traveacutes de evidencia soacutelida del fortalecimiento de los sistemas de salud La investigacioacuten de ReBUILD se ha llevado a cabo en entornos posconflicto relativamente estables si bien todaviacutea fraacutegiles mediante una perspectiva histoacuterica para comprender los efectos inmediatos a mediano y a largo plazo en el sistema de salud de las poliacuteticas implementadas durante y despueacutes del conflicto y la crisis Los temas incluyen los incentivos y la movilizacioacuten de los trabajadores sanitarios el acceso de las comunidades maacutes pobres y maacutes vulnerables a la atencioacuten meacutedica la efectividad de la ayuda y la igualdad de geacutenero

La investigacioacuten ha generado una amplia comprensioacuten de la experiencia de las comunidades y los trabajadores sanitarios durante periacuteodos de conflicto y posconflicto asiacute como recomendaciones para el fortalecimiento de los sistemas de salud posconflicto Pero la evidencia de ReBUILD tambieacuten es relevante para los entornos humanitarios p ej los efectos de los enfoques para captar trabajadores

sanitarios en respuestas a emergencias en la distribucioacuten de personal a largo plazo la motivacioacuten y las habilidades o el valor de trabajar incluso con agentes locales deacutebiles durante las emergencias para respaldar la capacidad de coordinacioacuten y planificacioacuten a largo plazo y los flujos de recursos predecibles

Por lo tanto ReBUILD participa tambieacuten con aquellos que trabajan en el aacutembito de la atencioacuten meacutedica en entornos de conflicto actual o de crisis prolongada Los eacutexitos incluyen informar la toma de decisiones y la implementacioacuten en Sierra Leona durante el brote de Eacutebola y respaldar aspectos de un plan de apoyo de donantes para Siria Presentar evidencia sobre los resultados a largo plazo a aquellos que trabajan en la interfaz entre el desarrollo y la accioacuten humanitaria donde las necesidades humanitarias son comprensiblemente el principal punto de atencioacuten es desafiante a menudo con espacio limitado para que la evidencia a largo plazo sea considerada dentro de los objetivos y los enfoques de las organizaciones humanitarias lo que refleja la amplia brecha que separa los enfoques humanitario y de desarrollo

ReBUILD colabora con varias organizaciones que tienen en cuenta los enfoques humanitarios basados en evidencia incluida Evidence Aid y actualmente trabaja en estrecha colaboracioacuten con grupos de trabajo que se centran de manera especiacutefica en la interfaz entre el desarrollo y la accioacuten humanitaria en el aacutembito de la salud como el Grupo de Trabajo sobre Entornos Fraacutegiles UHC2030 y el Grupo de Trabajo Temaacutetico Mundial sobre Sistemas de Salud en Estados Fraacutegiles y Afectados por Conflictos

Aplicacioacuten de la evidencia sobre los resultados de los sistemas de salud a largo plazo en entornos de crisis prolongada

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 17: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 16

2 PRODUCCIOacuteN DE IDEAS

Despueacutes de haber identificado su foco de atencioacuten es hora de buscar las intervenciones y poliacuteticas que se han estudiado en el pasado iquestPuede tomar ideas exitosas de otros acerca de queacute funcionoacute anteriormente y evitar las intervenciones que fracasaron

3 DESARROLLO Y PRUEBA

A medida que se introducen nuevas ideas seraacute hora de comenzar a pensar en probar y experimentar con diferentes enfoques y en evaluar el impacto de estos

En la Seccioacuten C analizamos las normas de evidencia que muestran el camino que deben seguir los nuevos programas en teacuterminos de proporcionar evidencia del impacto

4 PLANTEAMIENTO DEL CASO

Tener evidencia del impacto probable que tendraacute su intervencioacuten le ayudaraacute a plantear el caso a aquellos que podriacutean financiarla y aquellos que deberaacuten ejecutarla en el terreno Esto lo pondraacute en una posicioacuten maacutes soacutelida para persuadirlos de financiar la intervencioacuten y apoyar su realizacioacuten e implementacioacuten (Veacutease el siguiente caso de estudio)

En junio de 2017 Christine Fernandes asesora a nivel mundial de Save the Children en materia de nutricioacuten humanitaria para la alimentacioacuten de bebeacutes y nintildeos pequentildeos en emergencias (IYCF-E por sus siglas en ingleacutes) realizoacute una presentacioacuten sobre la IYCF-E para el director nacional y el equipo de directivos superiores de Save the Children Iraq quienes se encontraban en proceso de revisioacuten de su estrategia para el periacuteodo 2017-2018 Hasta ese momento la nutricioacuten no formaba parte de los sectores de aplicacioacuten en Irak Christine formuloacute su presentacioacuten de 20 minutos como un cuestionario cada diapositiva comenzaba con una pregunta como

iquestCuaacutel cree que es la manera maacutes eficaz de prevenir la muerte de nintildeos menores de cinco antildeos

Materiales tratados con insecticidas

Vacuna Hib (meningitis)

Lactancia adecuada

Alimentacioacuten complementaria adecuada

Suplementos de vitamina A y zinc

A continuacioacuten procedioacute a corregir las ideas equivocadas generalizadas con datos concretos Por ejemplo citoacute un artiacuteculo de Lancet26 para demostrar que la lactancia adecuada previene el mayor porcentaje de estas muertes en la primera infancia (13 ) y que la alimentacioacuten complementaria tiene el segundo mayor beneficio Solicitar a los asistentes que realicen estimaciones y luego corregir sus ideas tambieacuten es una manera eficaz de influenciar la opinioacuten de la gente sobre la base de la evidencia27 Christine logroacute convencer a todos los directivos de la Oficina Nacional de que lo correcto era centrarse en apoyar la IYCF-E lo que llevoacute a un cambio concreto en la oficina nacional iraquiacute con la puesta en marcha de un programa de IYCF-E en Bagdad y el apoyo al Ministerio Federal de Salud para la estrategia nacional de nutricioacuten con eacutenfasis en el control de sustitutos de la leche materna y el desarrollo de capacidades a nivel nacional en la inversioacuten de recursos a comienzos de 2018

Presentacioacuten de evidencia a los liacutederes de oficinas nacionales

CASO DE ESTUDIO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 18: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

17 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

5 EJECUCIOacuteN E IMPLEMENTACIOacuteN

Una vez implementada una intervencioacuten o poliacutetica es necesario pensar en una manera de documentar el impacto Esto sirve para pasar de una posicioacuten de retoacuterica en la que dice laquoconfiacutee en miacute el proyecto estaacute funcionandoraquo a una basada en evidencia maacutes fiable proveniente de la supervisioacuten y la evaluacioacuten Tambieacuten ayudaraacute con su rendicioacuten de cuentas al demostrar que usted estaacute marcando una diferencia que su proyecto tiene una buena relacioacuten calidad-precio y que ha puesto su trabajo a disposicioacuten para que sea evaluado (Veacutease el estudio de caso a continuacioacuten)

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) procura mejorar la vida de los pobres que viven en paiacuteses de ingresos bajos y medios proporcionando y resumiendo evidencia de queacute intervenciones de desarrollo funcionan cuaacutendo por queacute y cuaacutento cuestan En 2018 la Ventana Temaacutetica de Asistencia Humanitaria de la 3ie estaacute financiando siete evaluaciones de impacto en Chad la Repuacuteblica democraacutetica del Congo Maliacute Niacuteger Pakistaacuten Sudaacuten y Uganda La evaluacioacuten de impacto en Pakistaacuten la estaacute realizando la Universidad de Mannheim en Alemania en colaboracioacuten con la Agencia de Cooperacioacuten Teacutecnica y Desarrollo (ACTED) La ACTED apoya los programas de asistencia humanitaria en zonas propensas a las cataacutestrofes y la evaluacioacuten analiza la eficacia de estas intervenciones para responder a estos peligros y reducir la vulnerabilidad de las comunidades ante los impactos de las emergencias La colaboracioacuten entre la ACTED y la Universidad de Mannheim ha contemplado muchas instancias de desarrollo exitoso de las capacidades y de divulgacioacuten

Compromiso de muacuteltiples niveles se han presentado el estudio y la liacutenea base al gobierno pakistaniacute con el objetivo de informar la estrategia de nutricioacuten integral de Pakistaacuten aprovechando los conocimientos de distintas partes interesadas que tienen experiencia

trabajando en los aacutembitos de nutricioacuten y gestioacuten de los desastres Las conclusiones tambieacuten se han difundido a un grupo de trabajo dentro del paiacutes que comprende ONG nacionales e internacionales acadeacutemicos y especialistas del sector

Contribucioacuten para mejorar la calidad de los datos se han logrado importantes mejoras en el sistema de Monitoreo y Evaluacioacuten (MampE) Ahora se han replicado en otro proyecto que estaacute implementando la ACTED las mejores praacutecticas sobre recopilacioacuten de datos tales como controles in situ sesiones informativas con equipos de campo y retroalimentacioacuten perioacutedica sobre las discrepancias en la recopilacioacuten de datos que el equipo de investigacioacuten establecioacute durante la evaluacioacuten de impacto

La ACTED espera incluir estas praacutecticas en su protocolo regular de MampE una vez que se hayan probado mejor en el campo

Desarrollo de la capacidad de evaluacioacuten de la agencia de implementacioacuten el personal de la agencia de implementacioacuten fue patrocinado para asistir a un taller sobre la medicioacuten del efecto de los programas de reduccioacuten de la pobreza y para ayudar a disentildear mejores poliacuteticas mediante el uso de las evaluaciones de impacto Esto les permitiraacute asimilar mejor las conclusiones de la evaluacioacuten asiacute como proporcionar una base para futuras evaluaciones internas

Asociacioacuten para evaluaciones de impacto

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 19: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 18

6) CRECIMIENTO AMPLIACIOacuteN Y DIFUSIOacuteN

El objetivo principal de muchas innovaciones es replicar y crecer con el fin de generar cambios a gran escala en la praacutectica diaria y que puedan copiarse en otros entornos Esto aumentaraacute el alcance para un impacto positivo

7) CAMBIO DE SISTEMAS

Logar cambios a nivel de sistemas es extremadamente complejo Una buena forma de alcanzar esta escala es contar con diversos estudios independientes que muestren que algo no solo funciona en las circunstancias especiacuteficas de las pruebas iniciales sino que es eficaz en muchos lugares

ADOPCIOacuteN DE IDEAS DE OTRAS REGIONES O SECTORES

Incluso si encuentra evidencia de que una poliacutetica o un proyecto han tenido eacutexito en otro lugar iquestfuncionariacutea la adopcioacuten de esas ideas en su aacuterea Howard White presenta un ejemplo del fracaso de un programa de alimentacioacuten complementaria en Banbladesh (el Proyecto Integrado de Nutricioacuten de Bangladesh [BINP]) para lograr los resultados del laquoaclamado Proyecto Integrado de Nutricioacuten de Tamil Nadu (TINP) en Indiaraquo28 El programa de Bangladesh tuvo una tasa de participacioacuten un 30 maacutes baja en comparacioacuten con el de India y una evaluacioacuten comparativa del impacto laquono detectoacute ninguacuten efecto significativo del programa en el estado nutricional aunque hubo un efecto positivo en la mayoriacutea de los nintildeos malnutridosraquo El profesor White sentildealoacute que

laquolos destinatarios deben ser los correctos El programa estaba dirigido a las madres de nintildeos pequentildeos Pero a menudo las madres no son quienes toman las decisiones y rara vez son las uacutenicas que las toman con respecto a la salud y la nutricioacuten de sus hijos Para empezar las mujeres en la parte rural de Bangladesh no van al mercado son los hombres quienes realizan la compra Y para las mujeres que viven en hogares comunes es decir que viven con su suegra como es el caso de una minoriacutea

considerable es la suegra la que encabeza el dominio de las mujeres De hecho las tasas de participacioacuten en el proyecto son significativamente maacutes bajas en el caso de las mujeres que viven con las suegras en lugares maacutes conservadores del paiacutesraquo28

Tambieacuten observoacute que se debe identificar a los nintildeos correctos para que el programa sea eficaz En las aacutereas del BINP los meacutedicos de nutricioacuten de la comunidad que implementaron el programa no pudieron identificar correctamente a partir de las graacuteficas (de crecimiento) queacute nintildeos debiacutean ser admitidos al programa lo que llevoacute a una focalizacioacuten errada de los nintildeos28 Estos dos ejemplos de ejecucioacuten inapropiada de programas ilustra la importancia de comprender los factores contextualizados a nivel local en el eacutexito o el fracaso de un programa y la necesidad de utilizar evidencia cualitativa y etnograacutefica (veacutease la Seccioacuten C) con el fin de conseguir los resultados deseados en diferentes contextos

A la hora de disentildear nuevos programas que busquen cambiar la forma de actuar de las personas como por ejemplo respetar el Derecho humanitario internacional o utilizar letrinas en vez de defecar en espacios abiertos la investigacioacuten de los aacutembitos de la psicologiacutea social la antropologiacutea y el cambio conductual puede ser de ayuda Esto puede proporcionar ideas basadas en investigaciones soacutelidas acerca de queacute teacutecnica de todas las posibles merece la pena adoptar para dar un laquoempujoacutenraquo a las personas para que realicen las acciones deseadas

Hugh Waddington y colegas29 por ejemplo han observado que mejorar el saneamiento haciendo que las personas usen letrinas en vez de defecar abiertamente en lugares puacuteblicos requiere maacutes que conocer la teoriacutea microbiana Los resultados de la evaluacioacuten del saneamiento total dirigido por la comunidad (CLTS por sus siglas en ingleacutes) sugieren que un mayor conocimiento teacutecnico de las letrinas el uso de subsidios para reducir los costes para los hogares y el cambio de las normas sociales y la accioacuten colectiva a nivel del pueblo son factores clave para provocar el cambio de comportamiento e incrementar la adopcioacuten de las letrinas

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 20: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

19 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

CREACIOacuteN DE UNA TEORIacuteA DEL CAMBIO

En las primeras etapas del desarrollo o planificacioacuten de toda intervencioacuten es importante describir loacutegicamente lo que hace y por queacute es importante Debe ser coherente claro y convincente Esta descripcioacuten suele denominarse como Teoriacutea del Cambio y tiene por objeto dar una laquoexplicacioacuten clara concisa y convincente de lo que hace queacute impacto espera alcanzar y coacutemo cree que lo lograraacute Es una base fundamental de cualquier programa y un requisito para una evaluacioacuten eficazraquo30

Una Teoriacutea del Cambio es una herramienta uacutetil para especificar maacutes la evidencia que estaacute utilizando de otros y ser maacutes claro sobre coacutemo lograraacute los resultados Por ejemplo si desea ejecutar un programa para aumentar la adopcioacuten de lavarse las manos en un campo de refugiados probablemente requiera evidencia que responda a una serie de preguntas iquestQueacute teacutecnicas tienen maacutes probabilidad de generar un cambio eficaz del comportamiento iquestLos posibles usuarios aceptaraacuten los nuevos

lavamanos iquestDoacutende deberiacutean ubicarse los lavamanos iquestCoacutemo estariacutean compuestas estas instalaciones iquestQueacute informacioacuten hay que proveer iquestQueacute incentivos hay que introducir para influir en las decisiones domeacutesticas

Una Teoriacutea del Cambio (ejemplo en la paacutegina 20) sirve para especificar sus objetivos y coacutemo los lograraacute Ayuda a evitar que uacutenicamente espere que funcione su enfoque innovadory que sean correctas sus suposiciones Otro beneficio de aplicar una Teoriacutea del Cambio es que este es el primer paso para disentildear una evaluacioacuten eficaz ya que intenta identificar todos los resultados que habraacute que medir

El mensaje maacutes importante es pensar en la adecuacioacuten Es importante que busque una investigacioacuten que se adapte a sus necesidades y a la etapa de desarrollo en la que se encuentra La evidencia que necesitaraacute al planificar un programa nuevo o durante los primeros meses de su implementacioacuten seraacute muy distinta de la que necesitaraacute cuando el programa ya esteacute maacutes establecido Retomaremos este punto criacutetico de la adecuacioacuten en la Seccioacuten C

Hay una amplia gama de situaciones en las que la evidencia puede ser uacutetil No se limitan a las maacutes obvias relacionadas con la captacioacuten de los resultados de las intervenciones y las poliacuteticas Es posible que haya otros beneficios que no ha contemplado como crear una campantildea maacutes persuasiva obtener fondos o dejar de hacer algo que no estaacute funcionando

Debe pensar en el momento y la adecuacioacuten de la evidencia iquestEn queacute parte de la espiral de innovacioacuten se encuentra y queacute evidencia se adapta mejor a sus necesidades Por ejemplo en las primeras etapas del desarrollo de un programa innovador puede ser maacutes valioso aprender de lo que ya han descubierto los demaacutes analizando las evaluaciones anteriores o investigaciones cientiacuteficas y sociales maacutes amplias en vez de emprender una evaluacioacuten grande y costosa por su cuenta

Las etapas iniciales de la innovacioacuten son el momento para crear una Teoriacutea del Cambio Esta es una herramienta uacutetil para ser maacutes claro sobre la evidencia que estaacute usando y coacutemo va a obtener los resultados Tambieacuten le ayudaraacute a disentildear una evaluacioacuten eficaz

Las intervenciones o poliacuteticas que estaacuten maacutes establecidas pueden montar sus propios experimentos o evaluaciones de impacto A medida que una innovacioacuten crece tambieacuten es recomendable considerar reproducciones muacuteltiples para verificar que los beneficios que observoacute no fueron solo una historia de eacutexito aislada sino que pueden darse en otros lugares y contextos

No importa el tamantildeo de su organizacioacuten Hay muchas investigaciones que podriacutean serle uacutetiles

Mensajes clave de la Seccioacuten B

VOLVER AL IacuteNDICE

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 21: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN B | iquestCUAacuteNDO PUEDE AYUDARLE LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 20

Ejem

plo

de T

eoriacutea

del

Cam

bio

sob

re la

resi

lienci

a de

las

com

unid

ades

laquoOut

com

es a

nd im

pac

ts -

mea

suri

ng t

he d

iffer

ence

we

mak

eraquo

htt

ps

cw

arh

am

wo

rdp

ress

co

m2

017

020

2s

helt

erb

ox-

theo

ry-o

f-ch

ang

e

Proteccioacuten fiacutesica Bienestar

psicoloacutegico

Red

ucci

oacuten d

el e

streacute

s y

de

la a

nsie

dad

Aum

ento

de

la p

rivac

idad

y m

ante

nim

ient

o d

e la

dig

nid

ad

TE

OR

IacuteA D

EL C

AM

BIO

Mat

eria

lH

uman

oF

inan

cier

oIn

form

acioacute

n

Eva

luac

ioacuten

raacutep

ida

de

las

nece

sid

ades

Eva

luac

ioacuten

pro

fund

ad

e la

s ne

cesi

dad

esSe

gur

idad

y p

rote

ccioacute

nLo

giacutes

tica

Com

pro

mis

oco

mun

itario

Co

nd

icio

nes

pre

via

sbull

Dis

pos

icioacute

n d

el b

enefi

ciar

io a

par

ticip

arbull

Est

able

cim

ient

o d

e un

a es

truc

tur a

de

lider

azg

o lo

cal

bull P

arte

s in

tere

sad

as q

ue a

poy

an la

inte

rven

cioacuten

SU

PU

ESTO

Sbull

Sele

ccioacute

n d

e la

ayu

da

apro

pia

da

par

a el

con

text

obull

Res

pet

o d

el p

rinci

pio

de

laquono

hace

r d

antildeoraquo

bull Se

nsib

iliza

cioacuten

de

los

gru

pos

que

no

son

ben

efici

ario

sbull

Art

iacutecul

os d

e re

fug

io q

ue s

e us

an p

ara

el fi

n p

revi

sto

bull E

valu

acioacute

n p

ertin

ente

de

las

nece

sid

ades

y n

eces

idad

esd

e lo

s g

rup

os v

ulne

rab

les

teni

das

en

cuen

tabull

Log

iacutestic

a fu

ncio

nal

coor

din

acioacute

ny

com

unic

acioacute

n

Coo

rdin

acioacute

ne

info

rmes

Seg

uim

ient

oy

refle

xioacuten

AP

OR

TE

S

La r

esp

uest

a d

e Sh

elte

rBox

es

resp

onsa

ble

Pro

tecc

ioacuten

cont

ra e

l clim

a y

las

cond

icio

nes

amb

ient

ales

ext

rem

as

Aum

ento

de

la s

egur

idad

per

sona

l y la

pro

tecc

ioacuten

de

las

per

tene

ncia

s

Aum

ento

de

la p

rote

ccioacute

n co

ntra

las

enfe

rmed

ades

tra

nsm

itid

as p

or e

l ag

ua y

por

vec

tore

s

Red

ucci

oacuten d

el d

esp

laza

mie

nto

de

los

hog

ares

Los

hog

ares

y la

s co

mun

idad

es e

staacuten

inta

ctos

Con

ocim

ient

os y

hab

ilid

ades

par

a ut

iliza

r lo

s m

ater

iale

s p

rovi

stos

AC

TIV

IDA

DE

S

Pro

visi

oacuten d

e re

fug

ios

efica

z y

opor

tuna

RE

SU

LTA

DO

RE

SU

LTA

DO

S A

CO

RTO

Y M

ED

IAN

O P

LA

ZO

Mej

ora

de

la r

esili

enci

a y

de

la

cap

acid

ad d

e au

torr

ecup

erac

ioacuten

(hog

ares

com

unid

ades

)

CO

NT

RIB

UC

IOacuteN

A C

AM

BIO

S D

EL N

IVE

L D

E IM

PA

CTO

bull M

ejor

a d

e la

sal

ud y

del

bie

nest

ar p

sico

loacuteg

icos

bull M

ejor

a d

el a

cces

o y

la r

eten

cioacuten

ed

ucat

ivos

bull R

educ

cioacuten

de

la m

orb

ilid

ad y

la m

orta

lidad

bull Se

gur

idad

de

la t

enen

cia

bull M

ejor

a d

el a

cces

o a

los

serv

icio

s b

aacutesic

osbull

Fort

alec

imie

nto

de

las

estr

uctu

ras

soci

ales

bull Su

sten

to d

e lo

s m

edio

s d

e vi

da

bull M

ayor

res

ilien

cia

de

la c

omun

idad

a fu

turo

s d

esas

tres

RE

SU

LTA

DO

A L

AR

GO

PLA

ZO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 22: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

21 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

No toda la evidencia es igual

Un mensaje importante de esta guiacutea praacutectica es pensar en la utilidad Muchas personas se meten en problemas por no pensar claramente en queacute tipo de disentildeo de investigacioacuten metodologiacutea o meacutetodos de recopilacioacuten de datos van a satisfacer sus necesidades realmente Tienden a ser guiadas por los meacutetodos31 En otras palabras tendemos a adoptar nuestro enfoque favorito tales como cuestionarios ensayos aleatorios o entrevistas porque nos sentimos maacutes coacutemodos en lugar de abrirnos al abanico de meacutetodos y pensar cuaacuteles se adaptan mejor para responder a nuestro desafiacuteo y resolver nuestras incertidumbres

Por ejemplo la investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo (p ej la eficacia) pero otros tipos de investigacioacuten pueden aportar otros conocimientos32 Tal vez no analicen tanto el impacto pero pueden revelar por queacute y coacutemo funcionan las cosas33

Asimismo puede ser importante determinar queacute secciones de la poblacioacuten se benefician maacutes de una intervencioacuten lo que a veces queda enmascarado al confiar en el efecto promedio para una poblacioacuten en su conjunto

iquestQueacute tipo de evidencia debe elegir

Esta seccioacuten analiza distintos tipos de evidencia y examina coacutemo elegir la que mejor se adapte a su situacioacuten Tambieacuten examina coacutemo evaluar la calidad de la evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 23: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 22

La epidemia del Eacutebola en Aacutefrica Occidental reveloacute la necesidad de fomentar el laquocompromiso comunitarioraquo a la hora de responder ante los brotes y el papel que desempentildean las redes de cientiacuteficos sociales para compartir material e informar la respuesta Un ejemplo es la Plataforma antropoloacutegica de respuesta al Eacutebola cuyos miembros laquotrabajan de manera proactiva con organizaciones sanitarias y humanitarias para disentildear proveer y supervisar intervenciones maacutes reactivas a nivel local e informadas por la sociedad e investigacioacuten sobre el terrenoraquo34 Podemos aprender de coacutemo los antropoacutelogos usaron la etnografiacutea para incluir las dimensiones sociocultural y poliacutetica en una respuesta biomeacutedica con el fin de abordar la problemaacutetica de las denominadas praacutecticas de entierro laquonocivasraquo En un contexto en el que los cuerpos transmiten el virus del Eacutebola se adoptaron medidas excepcionales por las que solo algunos trabajadores humanitarios estaban autorizados para enterrar los cuerpos de las personas que habiacutean fallecido de Eacutebola Los intervinientes del brote del Eacutebola percibieron las reuniones de

las comunidades locales que acudiacutean a los funerales de sus seres queridos que habiacutean muerto a causa del virus como una resistencia tradicional35 a la medicina moderna y como una amenaza para la bioseguridad Incluir a los antropoacutelogos que teniacutean amplia experiencia viviendo en los paiacuteses afectados por la epidemia fue clave para identificar praacutecticas aceptables y seguras (por ejemplo mostrar una foto del cuerpo a las familias para responder a los rumores de que los cuerpos desapareciacutean36) asiacute como para superar las tensiones que surgiacutean de las praacutecticas de entierro mediante enfoques de colaboracioacuten Una leccioacuten clave que surgioacute fue identificar razonamientos que explicaran las necesidades de las comunidades de enterrar a sus muertos en vez de etiquetar estas praacutecticas como esencialmente laquoculturalesraquo37 La respuesta al Eacutebola demostroacute laquola necesidad de establecer nuevos mecanismos globales que puedan movilizar raacutepidamente a todos los especialistas que pueden aportar informacioacuten contextual local meacutedica epidemioloacutegica y poliacutetica relevante en situaciones de emergencia sanitaria globalraquo38

Lecciones aprendidas del uso de la etnografiacutea en la respuesta al Eacutebola

El tipo de investigacioacuten elegido como fuente de evidencia para ayudar en la toma de decisiones debe ajustarse a las necesidades del desafiacuteo que se estaacute afrontando39

La investigacioacuten experimental es maacutes adecuada para evaluar el impacto y laquolo que funcionaraquo

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 24: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

23 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 1 DIFERENTES TIPOS DE MEacuteTODOS DISENtildeOS Y ENFOQUES DE INVESTIGACIOacuteN

Entonces iquestcoacutemo sabe queacute meacutetodo de investigacioacuten es el mejor para su caso

Si usted no es investigador puede ser abrumador enfrentarse a la jerga y la lista interminable de enfoques distintos40 Estos temas se recogen en una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la evidencia41 y son tan importantes para el sector humanitario como lo son para el desarrollo internacional

Algunos tipos de investigacioacuten (como los disentildeos experimental y cuasiexperimental) funcionan mejor para identificar la presencia de una relacioacuten causal

Otros tipos de investigacioacuten son maacutes apropiados para explicar dichas relaciones causales ndashveacutease Maacutes allaacute de los experimentos nuevos enfoques de evaluacioacuten en la paacutegina 32

Algunos disentildeos (como los estudios de observacioacuten) son maacutes uacutetiles para entender los contextos poliacuteticos sociales y medioambientales

Algunos pros y contras de varios disentildeos de investigacioacuten se resumen en la Tabla C142

Tabla C1 Diferentes disentildeos meacutetodos y enfoques de la evidencia de investigacioacuten ndashbreve resumen

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Etnografiacutea Un informe realizado por alguien con experiencia directa de un tema en particular o afectado poreste El objetivo esrecopilar informacioacutendetallada sobre lasexperiencias delas personas y susimpresiones

Potente e inmediata puede ofrecer informacioacuten detallada de actividades ocultas a gran parte de la poblacioacuten

Difiacutecil de verificar y puede llevar a la inflacioacuten de la prevalencia Las historias personales conmovedoras pueden dificultar la valoracioacuten criacutetica y las aneacutecdotas personales pueden no ser representativas

Estudio de caso Examen detallado e intensivo de uno o varios casos como una comunidad una familia una organizacioacuten lugares un acontecimiento o un individuo

Faacutecil y praacutectico pueden utilizarlo los meacutedicos y los no especialistas uacutetil para intervenciones que ya se hayan realizado puede servir para identificar consecuencias adversas de una intervencioacuten ayuda a describir innovaciones genera hipoacutetesis para otros estudios

No sirve para deducir que una intervencioacuten genera un resultado el tamantildeo reducido dificulta generalizarlo a nivel nacional o de poblacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 25: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 24

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Estudios de control de casos

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Requiere menos recursos para ejecutarse que los estudios de intervenciones es uacutetil cuando los ensayos aleatorios o los estudios de cohorte prospectivos no son praacutecticos (por ejemplo estudios de muerte suacutebita infantil) puede generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

Es infrecuente en poliacuteticas sociales (veacutease abajo la evaluacioacuten laquobasada en casosraquo para un enfoque maacutes frecuente en las poliacuteticas sociales) maacutes frecuente en epidemiologiacutea y salud proporciona menos evidencia de inferencias causales que el ensayo aleatorio alto riesgo de muchos sesgos (por ejemplo sesgo de memoria sesgo de seleccioacuten y sesgo del entrevistador)

Evaluacioacuten del proceso

Un enfoque de evaluacioacuten que estudia lo que sucede en comparacioacuten con las teoriacuteas de cambio existentes o los caminos causales identificados durante una evaluacioacuten Puede asociarse con la evaluacioacuten realista el anaacutelisis comparativo cualitativo (ACC) el anaacutelisis de contribucioacuten y el seguimiento de procesos

Soacutelido para explicar causas puede usarse en aacutereas maacutes desordenadas de intervenciones sociales complejas en las que puede haber muchas causas y en las que el contexto es importante La evaluacioacuten del proceso investigaraacute los mecanismos de cambio los factores contextuales y la evaluacioacuten de la implementacioacuten

Falta de meacutetodos acordados oportunidades de sesgos deficiente para estimar las cantidades o el alcance delimpacto evaluacioacutenrelativamente escasade las teacutecnicasusadas en contrastecon el cuerpo maacutesamplio de literaturaque critica losensayos aleatorios

Evaluacioacuten econoacutemica

Las evaluaciones econoacutemicas determinan si con una intervencioacuten se hace un uso eficiente de los recursos y la compara con otras intervenciones en teacuterminos de coste y consecuencias En el sector humanitario los meacutetodos maacutes habituales son los anaacutelisis de coste-beneficio y de coste-eficacia

La evaluacioacuten econoacutemica ofrece una buena idea del nivel de recursos necesario y los gastos por beneficioeficacia producidos lo que es un gran indicador para la mayoriacutea de los responsables poliacuteticos y se puede usar para la incidencia poliacutetica

La evaluacioacuten econoacutemica implica varias hipoacutetesis y en ocasiones medidas indirectas de costes lo cual depende de las opiniones La medida de eficacia debe facilitarse mediante un ensayo comparativo soacutelido

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 26: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

25 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Transversal Una muestra representativa de personas encuestadas en un momento determinado A pesar de que las encuestas tales como los cuestionarios y las entrevistas estructuradas se suelen usar en el disentildeo transversal no son los uacutenicos medios Otros meacutetodos incluyen el anaacutelisis de contenidos o anaacutelisis de estadiacutesticas oficiales

Los datos cuantitativos se pueden examinar para detectar patrones o asociaciones son relativamente baratos y eacuteticos las encuestas se pueden repetir a intervalos mostrando cambios de tendencias con el tiempo (veacuteanse los estudios de cohorteslongitudinales a continuacioacuten) pueden generar hipoacutetesis que se pueden probar en estudios maacutes soacutelidos

En el mejor de los casos establece la asociacioacuten no la causalidad es poco posible atribuir alguacuten cambio medido a la intervencioacuten o entender queacute podriacutea haber ocurrido si no se hubiera realizado la intervencioacuten porque cualquier cambio podriacutea deberse a cuestiones maacutes generales como las condiciones econoacutemicas el clima o campantildeas en los medios de comunicacioacuten en vez de a la intervencioacuten Otras desventajas son el riesgo de sesgo de memoria sesgo de conveniencia social sesgo del investigador grupos de tamantildeos desiguales y distribucioacuten desigual de factores de confusioacuten

Estudios de cohorte longitudinales

La misma muestra de personas encuestada en diferentes momentos a lo largo del tiempo a veces desde la infancia hasta la edad avanzada

La mejor fuente de evidencia sobre la asociacioacuten entre la experiencia en la infancia y los resultados en la edad adulta puede ofrecer un apoyo soacutelido para algunas intervenciones tempranas puede usarse para evaluar programas aplicados tras los ensayos aleatorios

A menudo los datos afloran demasiado tarde para formular poliacuteticas eficaces los participantes del estudio pueden dejarlo con el tiempo enfoque costoso al mantenerlo durante deacutecadas

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 27: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 26

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Disentildeo cuasiexperimental

Compara un grupo que supongamos tiene una afeccioacuten meacutedica con otro grupo que no la tiene y mira en retrospectiva para ver queacute caracteriacutesticas difieren entre ambos grupos

Puede ofrecer evidencia razonablemente soacutelida de la relacioacuten entre la intervencioacuten y los resultados mensurables es un meacutetodo poderoso para explorar el impacto de una intervencioacuten cuando no es posible la asignacioacuten al azar se puede aplicar tanto en comunidades grandes como en grupos no es necesaria la asignacioacuten al azar desde el principio (ex-ante) lo que previene algunos de los desafiacuteos y las dificultades de dicha asignacioacuten

La imposibilidad de asegurar la equivalencia de los grupos y de prevenir el cambio con el tiempo puede derivar en conclusiones menos fiables las teacutecnicas de comparacioacuten tienden a necesitar muchos datos tanto en los grupos de intervencioacuten como en los de comparacioacuten lo que puede requerir mucho tiempo y cuya recopilacioacuten puede ser costosa es necesario un buen entendimiento de los factores que deben compararse (sin esto sigue siendo posible que haya diferencias sistemaacuteticas que no se controlan entre los grupos) estos disentildeos requieren un trabajo analiacutetico complejo y conocimiento especializado

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 28: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

27 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

TIPOS DE INVESTIGACIOacuteN Y EVALUACIOacuteN

iquestQUEacute ES PROS CONTRAS

Ensayo aleatorio

Un grupo recibe una intervencioacuten mientras que otro no la recibe o recibe unaintervencioacutendiferente seforman gruposusando unproceso aleatorionormalmenteexiste la mismaprobabilidad deser asignado acualquier grupo

Ofrece los resultados maacutes soacutelidos y fiables que transmiten la confianza de que cualquier diferencia medida entre los grupos se debe a la intervencioacuten la asignacioacuten aleatoria debe prevenir las diferencias sistemaacuteticas entre los grupos mayor confianza en el tamantildeo del efecto y la relacioacuten entre la intervencioacuten y el resultado enfoque reconocido internacionalmente

Insuficiente en cuanto a tomar en cuenta el contexto (p ej entorno cultural institucional histoacuterico y econoacutemico) difiacutecil de llevar a cabo a nivel de poblacioacuten nacional al usarlo en un pequentildeo grupo piloto puede no ser relevante a nivel de poblacioacutennacional (aunque este riesgo lo corren todos los disentildeos) puede ser difiacutecil manipular las variables para experimentar con la poliacutetica social (p ej clase etnia o lugar de residencia) los errores en la asignacioacuten aleatoria pueden invalidar los resultados puede ser difiacutecil convencer a los responsables de la toma de decisiones de los beneficios de este disentildeo posibles cuestiones poliacuteticas y eacuteticas relativas a la asignacioacuten aleatoria (p ej algunos grupos pueden recibir una posible intervencioacuten beneficiosa al azar y otros no) puede necesitar maacutes tiempo de gestioacuten y de configuracioacuten que los cuasiexperimentos

Revisiones sistemaacuteticas metaanaacutelisis

Agregacioacuten de resultados de estudios admisibles con criterios de admisibilidad definidos de antemano y metodologiacuteas revisadas

La mejor fuente de garantiacutea de que una intervencioacuten funciona (o no) el metaanaacutelisis agrupa los resultados estadiacutesticos las grandes revisiones tienen un poder estadiacutestico considerable otros investigadores pueden reproducirlo puede aplicarse a cualquier tipo de estudio o datos

Requiere de un nuacutemero importante de estudios soacutelidos en un aacuterea determinada la metodologiacutea estaacute menos desarrollada para sintetizar datos cualitativos y laquoliteratura grisraquo podriacutea producir resultados erroacuteneos si los sesgos de informe selectivo afectan la investigacioacuten disponible para la revisioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 29: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 28

INVESTIGACIOacuteN EXPERIMENTAL ndash iquestPOR QUEacute TANTO ALBOROTOLa investigacioacuten experimental como los ensayos aleatorios han recibido mucha atencioacuten ndashpuede que demasiada iquestPor queacute han suscitado tanto intereacutes

Con frecuencia los meacutedicos y los responsables poliacuteticos quieren saber si una intervencioacuten ha surtido efecto iquestHa habido un viacutenculo causal entre su nuevo programa y el laquoimpactoraquo laquoefectoraquo y laquoresultadoraquo final Quieren ser capaces de atribuir los efectos que han visto a la poliacutetica o intervencioacuten que se estaacute examinando Los disentildeos experimentales a pesar de que a veces son difiacuteciles de aplicar en la praacutectica tienen maacutes probabilidades de mostrar esta relacioacuten de causa y efecto

Un estudio experimental podriacutea simplemente examinar y comparar dos grupos de personas antes y despueacutes de realizar la intervencioacuten en uno de los grupos Pero si estos grupos no se forman de manera aleatoria existe el riesgo de que los grupos variacuteen debido al sesgo de seleccioacuten y las diferencias en los resultados se deberiacutean entonces a las diferencias en sus caracteriacutesticas y no a los efectos de la intervencioacuten que se estaacute examinando Por ejemplo alguien que solicita la intervencioacuten puede estar maacutes predispuesto a obtener resultados positivos Quizaacutes esteacuten maacutes motivados maacutes sanos maacutes seguros y por tanto sean maacutes susceptibles de obtener mejores resultados independientemente de cualquier intervencioacuten Por otro lado alguien que desea la intervencioacuten puede ser maacutes vulnerable y maacutes susceptible de obtener malos resultados independientemente de cualquier intervencioacuten Estos sesgos distorsionaraacuten los resultados del experimento y pueden implicar una estimacioacuten erroacutenea del efecto de la intervencioacuten Asimismo los sesgos pueden ser impredecibles y si no sabemos la inclinacioacuten de dicho sesgo no podemos simplemente ajustar los resultados del experimento para intentar tenerlos en cuenta43

En cambio para reducir el sesgo podemos usar un proceso de asignacioacuten aleatoria tras identificar a la poblacioacuten del estudio y que hayan aceptado participar los individuos por comparar entre siacute se asignan aleatoriamente a los grupos de estudio que seraacuten comparados por ejemplo haciendo un sorteo44

DISENtildeOS DE INVESTIGACIOacuteN EXPERIMENTALElegir el disentildeo experimental apropiado y llevar a cabo el estudio correctamente establece el viacutenculo causal entre una intervencioacuten y un resultado Cuando se utiliza la asignacioacuten aleatoria para asignar a los participantes a la intervencioacuten o al grupo de comparacioacuten esto nos ofrece el medio maacutes soacutelido para determinar si cualquier diferencia de resultado entre los grupos se debe a la intervencioacuten o a la casualidad esta uacuteltima se minimiza realizando un estudio lo suficientemente grande La asignacioacuten aleatoria minimiza la posibilidad de diferencias sistemaacuteticas entre los grupos independientemente de si se deben a factores conocidos o desconocidos

La introduccioacuten de un grupo de control con el cual comparar la intervencioacuten minimiza varios sesgos que suelen complicar el proceso de evaluacioacuten Por ejemplo si introduce un sistema de transferencia de dinero para aumentar las tasas de inmunizacioacuten y los partos en centros de salud iquestcoacutemo sabraacute si quienes reciban el dinero extra no habriacutean utilizado los servicios de todas formas Debe compararlos con un grupo de personas que no reciban el dinero extra

Como en cualquier disentildeo de investigacioacuten el poder del ensayo aleatorio tambieacuten requiere que el estudio se realice correctamente Esto incluye asegurarse de que la asignacioacuten aleatoria de individuos o unidades (p ej escuelas hospitalesvecindarios etc) se haga correctamente(laquofidelidad de asignacioacutenraquo) y queuacutenicamente el grupo experimental se hayaexpuesto a la intervencioacuten que se estaacute

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 30: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

29 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

examinando (laquofidelidad de tratamientoraquo) Un ensayo aleatorio bien realizado tambieacuten requiere suficientes participantes y poder estadiacutestico para asegurarse de que se equilibren otros factores (laquode confusioacutenraquo) que podriacutean haber ocasionado el resultado entre el grupo experimental y el de control Un bajo iacutendice de abandono (laquodesercioacutenraquo) tambieacuten es necesario para minimizar el riesgo de sesgo Por consiguiente es importante verificar el informe de un ensayo aleatorio para asegurarse de que esos criterios de validez se han cumplido

Se puede encontrar maacutes informacioacuten sobre coacutemo determinar si un ensayo aleatorio se ha realizado e informado correctamente en el documento de orientacioacuten sobre coacutemo realizar ensayos y presentar informes al respecto45

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) identificoacute evaluaciones de intervenciones humanitarias en situaciones de conflicto y reconciliacioacuten que usaron ensayos aleatorios y disentildeos cuasiexperimentales (veacutease a continuacioacuten)46

Las enfermedades transmisibles son de especial preocupacioacuten en las poblaciones afectadas por conflictos y desastres que residen en campamentos En la fase de emergencia aguda las enfermedades diarreicas pueden representar maacutes del 40 de las muertes entre los residentes del campamento Estas enfermedades son consecuencia de una variedad de factores pero en situaciones de emergencia el saneamiento y el suministro de agua adecuados (tanto en teacuterminos de cantidad como de calidad) son los medios principales para la reduccioacuten de la diarrea Existen claras limitaciones en las tecnologiacuteas actuales para el tratamiento de agua y pocos productos son capaces de tratar el agua turbia

Shannon Doocy y Gilbert Burnham describieron los resultados de un estudio de doce semanas sobre la eficacia del tratamiento del agua en el punto de uso con un desinfectante floculante en 400 hogares en campamentos para poblaciones desplazadas en Monrovia Liberia47

El estudio comparoacute las tasas de diarrea entre los hogares con tratamiento de

agua con desinfectante floculante y un mejor almacenamiento de agua (grupo de intervencioacuten) con los hogares con solamente mejor almacenamiento (grupo de control) La asignacioacuten de hogares a los grupos experimental y de control fue aleatoria

En los hogares de intervencioacuten el tratamiento del agua en el punto de uso con el desinfectante floculante junto con la mejora del almacenamiento redujo la incidencia de diarrea en un 90 y la prevalencia en un 83 en comparacioacuten con los hogares de control que contaban uacutenicamente con mejor almacenamiento de agua En la intervencioacuten los niveles de cloro residual cumplieron o superaron las normas Esfera en un 85 (IC del 95 831ndash868) de las observaciones con una tasa de cumplimiento del 95

Los doctores Doocy y Burnham concluyeron que un desinfectante floculante en el punto de uso redujo significativamente la incidencia y la prevalencia de la enfermedad diarreica en los hogares que residen en campamentos en situaciones de emergencia

Establecimiento de la eficacia de las intervenciones humanitarias utilizando meacutetodos experimentales

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 31: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 30

CUESTIONES PRAacuteCTICAS Y EacuteTICAS DE LOS ENSAYOS ALEATORIOS

Tener un grupo de control conduce a una criacutetica comuacuten de los ensayos aleatorios que es que no son eacuteticos porque solo se da acceso a una intervencioacuten experimental que puede considerarse superior a una parte de la poblacioacuten Este laquoracionamientoraquo de la intervencioacuten se justifica si no sabemos si los beneficios superan a los perjuicios y hacemos el ensayo para averiguarlo No obstante si ya hay evidencia contundente de que la intervencioacuten seraacute beneficiosa auacuten podriacuteamos tener que realizar un ensayo aleatorio para averiguar cuaacuten beneficiosa es y para quieacuten De ser asiacute hay maneras de evitar las criacuteticas y los problemas eacuteticos Por ejemplo en un ensayo aleatorio con controles en lista de espera a aquellos asignados al grupo de control se les ofreceraacute la intervencioacuten ya sea al final del ensayo o cuando su seguimiento personal haya terminado Otra opcioacuten es el disentildeo laquopor pasosraquo o laquode tuberiacuteasraquo48 en el que el orden en que los participantes reciben la intervencioacuten se determina al azar lo que permite que se introduzcan gradualmente a lo largo del tiempo de modo que todos los participantes hayan tenido acceso a la intervencioacuten al final del ensayo Este disentildeo se utilizoacute en el estudio ProgresaOportunidades uno de los ensayos aleatorios maacutes grandes en el aacutembito del desarrollo internacional que evaluoacute las transferencias de dinero condicionadas en las poblaciones rurales desfavorecidas en Meacutexico49 Los ensayos por pasos pueden resultar muy praacutecticos en un mundo de austeridad donde no hay suficientes recursos para realizar un despliegue completo de un nuevo programa de una sola vez Permiten realizar un despliegue gradual utilizando al mismo tiempo un ensayo aleatorio para evaluar su eficacia Sin embargo los ensayos por pasos son complejos y pueden ser difiacuteciles de implementar y si la intervencioacuten resulta ineficaz o perjudicial se habraacute extendido a todos los participantes del ensayo En caso de una intervencioacuten educativa o de comportamiento o la reestructuracioacuten de la prestacioacuten de servicios puede ser difiacutecil e incluso imposible eliminar o laquoapagarraquo la intervencioacuten despueacutes del ensayo

CUANDO LA ALEATORIZACIOacuteN NO ES POSIBLE O ACEPTABLE

En algunas circunstancias puede que no sea posible o aceptable asignar personas de manera aleatoria a los grupos que se van a comparar Por ejemplo podriacutea resultar imposible emplear un ensayo aleatorio para comparar los efectos relativos de diferentes formas de coordinar la respuesta ante una emergencia grave o el impacto de una poliacutetica nacional destinada a mejorar la inclusioacuten social de los refugiados50 En estos casos los investigadores podriacutean usar un disentildeo cuasi-experimental para investigar la relacioacuten entre las intervenciones y los resultados Kayvan Bozorgmehr y Oliver Razum hicieron esto para comparar el gasto personal en atencioacuten meacutedica entre solicitantes de asilo y refugiados en Alemania que teniacutean acceso regular o restringido a la atencioacuten meacutedica51 Demanera similar Rodolfo Rossi y sus colegasutilizaron encuestas antes y despueacutes de unacampantildea de vacunacioacuten para investigar suefecto en la cobertura de vacunacioacuten denintildeos pequentildeos en una zona del Liacutebanoafectada por la crisis en 201552

DISENtildeOS CUASI-EXPERIMENTALES

Existe una amplia variedad de disentildeos cuasi-experimentales para comparar los efectos de las intervenciones y estos se usan a menudo cuando los ensayos aleatorios no son factibles Dichos estudios son similares a los ensayos aleatorios en la medida en que pueden usarse para comparar los resultados de personas o grupos que reciben una intervencioacuten o programa y los que no lo reciben Sin embargo la recepcioacuten o no recepcioacuten de la intervencioacuten o el programa no se basariacutea en unaasignacioacuten aleatoria En su lugar se utilizanotros tipos de disentildeo comparativo comoseries de tiempo interrumpido o estudioscontrolados de antes y despueacutes o anaacutelisiscomo la discontinuidad de la regresioacuteno el emparejamiento por puntuacioacutende propensioacuten53 Cabe sentildealar que losdisentildeos de antes y despueacutes sin un grupode comparacioacuten no pueden establecer elimpacto de una intervencioacuten o programa

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 32: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

31 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

porque en ausencia de una hipoacutetesis de contraste (es decir una comparacioacuten con lo que habriacutea ocurrido sin la intervencioacuten) cualquier impacto observado en los resultados puede deberse a factores distintos a la intervencioacuten Los disentildeos

cuasi-experimentales tienen un mayor riesgo de sesgo que los ensayos aleatorios bien ejecutados pero auacuten asiacute podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable54

Esta evaluacioacuten fue parte de una serie de evaluaciones de impacto encargadas conjuntamente por el Programa Mundial de Alimentos (PMA) y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR) en 2011 y 2012 para evaluar el papel de la asistencia alimentaria y su contribucioacuten a la autosuficiencia y a las soluciones duraderas para los refugiados y las poblaciones afectadas por ellos55

La evaluacioacuten abarcoacute la prolongada situacioacuten de refugiados en el sureste de Bangladesh donde aproximadamente 30000 refugiados rohinyaacute han recibido asistencia en dos campamentos oficiales durante maacutes de dos deacutecadas Ademaacutes de los refugiados registrados aproximadamente 45000 rohinyaacutes no registrados residen en sitios improvisados y maacutes de 150000 residen en comunidades de acogida en el distrito de Coxs Bazar Para evaluar el impacto de la manera maacutes metodoloacutegicamente rigurosa para el contexto se utilizoacute un disentildeo cuasi-experimental El disentildeo de la evaluacioacuten se centroacute principalmente en tres grupos poblacionales

1 Refugiados que viven en doscampamentos de refugiados oficiales

2 Rohinyaacutes no registrados que residen en dos sitios no oficiales en campamentos oficiales o en comunidades de acogida

3 Comunidades de acogida

La comparacioacuten cuantitativa clave fue entre los refugiados registrados que recibieron asistencia alimentaria y los rohinyaacutes no registrados que no la recibieron La pregunta

principal de la evaluacioacuten fue iquestcuaacuteles son los efectos diferenciales de la asistencia alimentaria a largo plazo en las diferentes poblaciones de refugiados rohinyaacute y las afectadas por ellos en Bangladesh

La evaluacioacuten concluyoacute que junto con otras formas de asistencia externa la asistencia alimentaria era un factor que contribuiacutea a la eleccioacuten de la actividad econoacutemica de los hogares y la adopcioacuten de estrategias especiacuteficas de afrontamiento En comparacioacuten con sus homoacutelogos rohinyaacute no registrados los refugiados registrados participaron en actividades econoacutemicas significativamente diferentes incluido el empleo maacutes cualificado y menos arriesgado con salarios maacutes altos en general Tambieacuten contaban con un nivel de riqueza significativamente mejor basado en la acumulacioacuten de activos La asistencia alimentaria era un componente integral de sus medios de vida utilizada principalmente para el consumo y como garantiacutea y transferencia de valor para preacutestamos e hipotecas La transferencia de valor de toda la asistencia externa en los campamentos permitioacute a los refugiados trabajar menos y confiar en esta asistencia externa en tiempos de crisis

A pesar de estas diferencias todos los refugiados y los grupos rohinyaacute no registrados se basaron en actividades econoacutemicas para sustentar sus medios de vida Los rohinyaacutes no registrados emplearon una gama maacutes amplia de mecanismos de afrontamiento tanto positivos como negativos y constituyeron una parte importante del mercado laboral de la regioacuten

Determinacioacuten de la eficacia de las intervenciones humanitarias utilizando un disentildeo cuasi-experimental La contribucioacuten de la asistencia alimentaria a las soluciones duraderas en situaciones prolongadas de refugiados

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 33: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 32

MAacuteS ALLAacute DE LOS EXPERIMENTOS NUEVOS ENFOQUES DE EVALUACIOacuteNCuando pensamos en el impacto tambieacuten debemos pensar maacutes allaacute de la dependencia exclusiva de experimentos como los ensayos aleatorios Aunque los ensayos y los disentildeos cuasi-experimentales pueden funcionar bien cuando hay una intervencioacuten simple que puede probarse las intervenciones a menudo no lo son Las ONG que trabajan en la sociedad civil por ejemplo rara vez trabajan solas o tienen la oportunidad de manipular un laquotratamientoraquo experimental claro para un ensayo aleatorio Los evaluadores estaacuten buscando otras formas de hacer las cosas enfoques que implican ir maacutes allaacute de una simple causalidad uno-a-uno y que requieren una reflexioacuten cuidadosa sobre su laquocontribucioacutenraquo

En el complejo mundo de la accioacuten humanitaria es poco probable que su programa por siacute solo sea la condicioacuten necesaria o suficiente para el eacutexito Podriacutea ser solo un factor entre muchos parte de un laquopaquete causalraquo El eacutexito del programa depende de queacute maacutes esteacute sucediendo o haya ocurrido a su alrededor En el pasado una simple explicacioacuten causal de laquolo que funcionaraquo pudo haber sido suficiente pero hoy en diacutea es maacutes comuacuten que los investigadores de la evaluacioacuten pregunten laquoiquestnuestra intervencioacuten marcoacute una diferencia iquestQueacute habriacutea ocurrido sin ellaraquo

Hay una variedad de enfoques que se estaacuten volviendo maacutes populares entre los evaluadores como los disentildeos basados en la teoriacutea56 y basados en casos la teoriacutea de la complejidad la evaluacioacuten realista57 el anaacutelisis de contribucioacuten58 el seguimiento de procesos59 o el anaacutelisis comparativo cualitativo60 Una caracteriacutestica comuacuten de estos enfoques es el reconocimiento de la complejidad de la causalidad que requiere la identificacioacuten de los mecanismos causales en una gama de casos o acontecimientos especiacuteficos asiacute como elementos de la cadena causal que variacutean Esto implica laquoidentificar en queacute condiciones y en queacute combinaciones con otras causas es probable que el efecto observado de una intervencioacuten se produzca se desbloquee

o se desencadeneraquo61 Por ejemplo en elanaacutelisis de contribucioacuten la investigacioacutenno intenta probar que un factor como unapoliacutetica especiacutefica laquocausoacuteraquo el resultadodeseado sino que pretende explorarla contribucioacuten de una poliacutetica a losresultados observados Reconoce quelos efectos son producidos por variascausas al mismo tiempo no solo por una

No todos estos enfoques son nuevos62 De hecho contar con una buena teoriacutea probablemente siempre ha estado en el corazoacuten de la buena ciencia Por lo tanto el uso de un enfoque laquobasado en la teoriacutearaquo no es novedoso pero estas formas de evaluar el impacto han aumentado en popularidad y realmente ayudan a los evaluadores a abordar la causalidad muacuteltiple

iquestMERECIOacute LA PENA EL VALOR DE LOS ANAacuteLISIS DE COSTE-BENEFICIO Y DE COSTE-EFICACIADespueacutes de haber determinado y medido los efectos de una intervencioacuten es importante que el sector humanitario como cualquier otro sector sepa si sus programas e intervenciones tienen una buena relacioacuten calidad-precio Cuando los presupuestos son limitados debemos tomar decisiones financieras difiacuteciles sobre si una cuestioacuten es maacutes valiosa que otra Los encargados de la formulacioacuten de poliacuteticas las entidades que encargan servicios los organismos que otorgan subvenciones y los donantes de caridad solicitan maacutes y mejores medidas de impacto por cada libra doacutelar o euro que gastan Las teacutecnicas de evaluacioacuten econoacutemica ayudan a generar esta informacioacuten sobre el valor

Existe una gama de teacutecnicas para realizar una evaluacioacuten econoacutemica Un anaacutelisis de coste-eficacia (ACE) identifica cuaacuteles son las mejores formas de lograr un resultado Por otra parte el anaacutelisis de coste-beneficio (ACB) nos dice si hay mejores formas de usar los recursos disponibles El anaacutelisis de coste-utilidad (ACU) calcula queacute intervencioacuten produce la mayor sensacioacuten de bienestar subjetivo para las personas afectadas por ella12

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 34: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

33 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Siempre que sea posible la evaluacioacuten econoacutemica trata de atribuir valores monetarios a todos los insumos y actividades que intervienen en la produccioacuten de los resultados que a su vez conducen a los resultados deseados y a sus efectos econoacutemicos sociales y ambientales a maacutes largo plazo Esto constituye el anaacutelisis del coste Los mismos procedimientos se utilizan para atribuir valores monetarios a todos los resultados y efectos que la poliacutetica pretende lograr Cuando hay resultados y efectos negativos estos se deducen del valor monetario de cualquier resultado efecto positivo que se haya logrado Esto constituye el anaacutelisis de los beneficios

Los valores monetarios se derivan lo maacutes posible de donde hay alguna actividad de mercado El mercado laboral por ejemplo proporciona valores monetarios para diferentes tipos y unidades de trabajo El mercado comercial de la construccioacuten proporciona el valor monetario (el coste) para los bienes que se requieren para construir un hospital o una escuela ladrillos acero vidrio cemento etc Los costes de brindar atencioacuten meacutedica se pueden derivar de los costes fijos y variables procedentes de administrar hospitales centros de salud y cliacutenicas comunitarias medicamentos y suministros meacutedicos entre otros Esto es lo que significa laquomonetizarraquo los costes y los beneficios

Algunos costes y sobre todo beneficios no se negocian en un mercado y por lo tanto son maacutes difiacuteciles de monetizar En tales casos los economistas estimaraacuten los beneficios (y a veces los costes) simulando la actividad del mercado a traveacutes de encuestas a las personas sobre la laquovoluntad de pagarraquo y la laquovoluntad de aceptarraquo La voluntad de pagar (WTP por sus siglas

en ingleacutes) se ha definido como laquola maacutexima cantidad de dinero a la que una persona estaacute dispuesta a renunciar para recibir un bienraquo12 De manera similar la voluntad de aceptar (WTA por sus siglas en ingleacutes) es laquola miacutenima cantidad de dinero que habriacutean de recibir para ser compensados por privarse de un bien o renunciar a eacutelraquo12 Los resultados de una encuesta sobre WTP o WTA proporcionan lo que los economistas denominan laquopreferencias declaradasraquo es decir lo que las personas dicen que estariacutean dispuestas a pagar o aceptar por un bien o servicio Alternativamente los economistas intentaraacuten observar coacutemo se comportaraacuten realmente las personas en una situacioacuten de mercado real Es decir estableceraacuten una situacioacuten en la que se les pide a las personas que paguen diferentes cantidades de dinero por un bien o servicio o se les ofreceraacuten diferentes cantidades de dinero para que renuncien a un bien o servicio y luego se registra el comportamiento real de las personas Esto proporciona lo que los economistas llaman laquopreferencias reveladasraquo

Ademaacutes de los procedimientos mencionados anteriormente la evaluacioacuten econoacutemica tambieacuten identifica doacutende o sobre quieacuten recaeraacuten los costes y beneficios y en queacute lapso de tiempo El valor econoacutemico de los beneficios que se obtendraacuten en el futuro a mediano y largo plazo se descontaraacute de acuerdo con lo que se conoce como tasa de descuento Otros ajustes que se realizan a los costes y beneficios incluyen cambios en los precios relativos diferencias materiales en las opciones fiscales sesgo de optimismo e imprevistos como inundaciones sequiacuteas y efectos del cambio climaacutetico La evaluacioacuten econoacutemica es una iniciativa bastante teacutecnica que generalmente requiere la experiencia de un economista

Los disentildeos cuasi-experimentales podriacutean permitir realizar inferencias causales soacutelidas en circunstancias en las que un ensayo aleatorio no es posible o aceptable

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 35: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 34

No toda la evidencia es igual Alguna seraacute de mejor calidad y maacutes apropiada a su desafiacuteo

El tipo de investigacioacuten debe ajustarse a las necesidades del desafiacuteo y el meacutetodo que se utilice debe haberse realizado y analizado de manera adecuada

No se desanime por la larga lista de meacutetodos disentildeos y enfoques de investigacioacuten La clave es comprender los supuestos que sustentan estos meacutetodos

Algunos disentildeos de investigacioacuten (como los disentildeos experimental y cuasi-experimental) funcionan mejor para demostrar la presencia de una relacioacuten causal

Otros enfoques de investigacioacuten son maacutes apropiados para explicar coacutemo se producen dichas relaciones causales o para responder a otros tipos de preguntas de investigacioacuten

La evaluacioacuten y las teacutecnicas basadas en la teoriacutea tales como el anaacutelisis de contribucioacuten son cada vez maacutes populares entre los evaluadores Estas teacutecnicas pueden ser uacutetiles cuando es difiacutecil hacer un experimento o es imposible atribuir una uacutenica poliacutetica o programa a un solo resultado claro

No se trata solo de si su intervencioacuten funcionoacute o no sino de si ha sido rentable

Las teacutecnicas como el anaacutelisis de coste-beneficio pueden ayudarle a comprender el valor financiero del impacto de una intervencioacuten

Podriacutea ser importante establecer queacute sectores de la poblacioacuten se benefician maacutes de una intervencioacuten A menudo esto puede quedar enmascarado al basarse en el efecto promedio que ha tenido en la poblacioacuten en su conjunto

Mensajes clave de la Parte 1 de la Seccioacuten C

Es importante para el sector humanitario saber si sus programas e intervenciones tienen una buena relacioacuten calidad-precio

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 36: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

35 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

PARTE 2 iquestCOacuteMO CALIFICA LA CALIDAD DE LA INVESTIGACIOacuteN

Otra forma de ayudarle a elegir queacute tipo de investigacioacuten necesita es hacer preguntas como iquesten queacute investigacioacuten puedo confiar iquestQueacute evidencia es lo suficientemente buena para cubrir mis necesidades iquestPodriacutea ser un artiacuteculo en una revista cientiacutefica de alto impacto iquestQueacute pasa con las evaluaciones internas realizadas por mi propia organizacioacuten iquestDeberiacutean tambieacuten tener un lugar en la mesa de evidencia

Ser publicado en una revista de investigacioacuten arbitrada es una forma de ayudarle a sentirse seguro acerca de una investigacioacuten pero no es una garantiacutea de alta calidad En un famoso artiacuteculo John Ioannidis de la Universidad de Stanford en los Estados Unidos causoacute revuelo al argumentar que laquola mayoriacutea de los hallazgos publicados probablemente son falsosraquo Examinoacute los artiacuteculos maacutes citados (aquellos con maacutes de 1000 citas) en algunas de las revistas meacutedicas maacutes reconocidas del mundo en gran parte de The Lancet el New England Journal of Medicine y el Journal of the American Medical Association63 De aquellos que afirmaban ser eficaces cuyos resultados se habiacutean probado en estudios posteriores se encontroacute que el 41 estaba equivocado o que el impacto era mucho menor delque habiacutea sugerido el estudio original

iquestCOacuteMO AYUDA LA REVISIOacuteN POR PARES A LOS RESPONSABLES DE LA TOMA DE DECISIONESTambieacuten debemos tener en cuenta que la revisioacuten por pares la cual es una piedra angular de las revistas acadeacutemicas estaacute lejos de ser perfecta Puede haber sesgos inconscientes como el laquogregarismoraquo en el que el comportamiento de los revisores estaacute influenciado por el comportamiento de sus homoacutelogos Y todo el sistema de publicaciones cientiacuteficas puede verse distorsionado por el sesgo de publicacioacuten los resultados

positivos tienen maacutes posibilidades de ser publicados64 mientras que los datos negativos se ocultan Como ejemplo una encuesta realizada por investigadores de la Universidad de Stanford encontroacute que la mayoriacutea de los laquoestudios nulosraquo de las ciencias sociales nunca se publican solo el 20 habiacutea aparecido en una revista y el 65 ni siquiera se habiacutea redactado65 Esto podriacutea tener graves consecuencias para los responsables de la toma de decisiones que revisan la evidencia Si nunca se ven los estudios negativos sobre una nueva intervencioacuten se podriacutea concluir erroacuteneamente que todo estaacute bien y que es eficaz

Sin embargo a pesar de estos problemas la revisioacuten por pares sigue siendo para la mayoriacutea la laquoregla de ororaquo para decidir queacute se incluye en la literatura cientiacutefica proporcionando una comparacioacuten con el mal trabajo66 Utilizar un artiacuteculo de una revista o un informe que haya sido revisado de manera independiente por otros expertos es una forma de ayudarle a tener maacutes confianza en que la investigacioacuten es fiable A pesar de que pueden pasar antildeos antes de que un estudio sea publicado (y esto puede ser demasiado tiempo si tiene que tomar una decisioacuten raacutepida) la revisioacuten por pares aporta algunos controles de calidad a la literatura para ayudarle a sentirse seguro

DEFINICIOacuteN DE INVESTIGACIOacuteN DE laquoALTA CALIDADraquoLa revisioacuten por pares puede darnos un poco de tranquilidad Pero iquestqueacute debe hacer si va a incluir evidencia que no ha sido verificada por otros expertos iquestCoacutemo decide si esto le proporciona una base lo suficientemente soacutelida para sus decisiones

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada O perder la gran cantidad de evaluaciones de donantes o ONG que nunca se publican

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 37: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 36

en los medios acadeacutemicos sino que estaacuten disponibles solo en la laquoliteratura grisraquo Existe una amplia variedad de definiciones de laquoliteratura grisraquo pero generalmente se refiere a documentos que no estaacuten publicados o que se han publicado sin revisioacuten por pares Tambieacuten puede referirse a investigaciones que auacuten estaacuten en marcha o que estaacuten siendo preparadas para supublicacioacuten Los informes gubernamentaleslas declaraciones y los sumarios sobrepoliacuteticas y las actas de conferencias tambieacutenson tipos de laquoliteratura grisraquo Este tipo deliteratura es importante porque puedecontener evidencia de resultados negativose intervenciones infructuosas lo cual esimportante para el equilibrio de la tomade decisiones basada en la evidencia Sepuede buscar esta literatura utilizandobases de datos electroacutenicas como OpenGrey (wwwopengreyeu) actas deconferencias y registros de adquisicionesde los patrocinadores de investigacioacutenLos sitios web de organizaciones quetienen intereacutes o experiencia en un ciertotema son otra fuente de laquoliteraturagrisraquo Se puede contactar con estasorganizaciones para identificar a losinvestigadores y a los responsables de latoma de decisiones que tienen experienciaen un asunto o tema particular

Un buen comienzo al tratar de evaluar la calidad de la evidencia es definirla Sin embargo uno de los problemas es que palabras como laquocalidadraquo laquonormasraquo laquosolidezraquo laquosesgoraquo y laquofuerzaraquo se usan a menudo como si fueran intercambiables y sin definir claramente lo que significan Esto genera muchos malentendidos Por ejemplo en algunas guiacuteas67 la laquocalidadraquo de investigacioacuten significa usar disentildeos y meacutetodos particulares como un ensayo

aleatorio Este eacutenfasis en minimizar el sesgo como un medio para garantizar la calidad surge de algunos de los enfoques cliacutenicos y de salud formales para evaluar la calidad de la evidencia como el sistema GRADE68 o la Escala de Meacutetodos Cientiacuteficos deMaryland69 Estos enfoques de evaluacioacutende la calidad para las evaluacionesexperimentales generalmente se basan enla validez interna de los estudios la calidadde los informes y la validez externa

La calidad se refiere a queacute tan bien se han realizado informado y analizado los estudios70 asiacute como a la integridad de los investigadores en cuanto a no distorsionar o falsificar los datos71 Algunas personastambieacuten vinculan la calidad con la relevanciadel estudio para la poliacutetica y la praacutectica72

Al intentar responder una pregunta causal debe considerar si el disentildeo de investigacioacuten utilizado para un estudio es apropiado para determinar la causalidad y si el disentildeo se implementoacute correctamente en el estudio Las evaluaciones de impacto de alta calidad responderaacuten a preguntas de atribucioacuten demostraraacuten que la intervencioacuten causoacute los resultados Esto requiere una comparacioacuten o un grupo de control lo maacutes parecido posible al grupo de intervencioacuten en todos los aspectos excepto en la intervencioacuten como tal Si esto es cierto y el estudio ha sido bien realizado puede estar maacutes seguro de que por ejemplo los efectos en la prevencioacuten de la violencia la reduccioacuten del estreacutes familiar o el regreso maacutes raacutepido al trabajo se deben a la intervencioacuten Tambieacuten es importante considerar si los efectos encontrados en el estudio se reproduciraacuten en otros lugares Esto impulsa la demanda de meacutetodos mixtos de investigacioacuten y evaluacioacuten y tambieacuten puede requerir informacioacuten de investigacioacuten cualitativa

Claramente seriacutea un error ignorar evidencia de investigacioacuten importante solo porque no se ha publicado en una revista arbitrada

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 38: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

37 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

INVESTIGACIOacuteN CUALITATIVA DE ALTA CALIDADMuchos han destacado el valor de la investigacioacuten cualitativa de buena calidad73 para los encargados de la formulacioacuten de poliacuteticas La evidencia cualitativa puede ser tan cientiacuteficamente creiacuteble como la cuantitativa y es probable que una combinacioacuten de ambas ayude a los responsables de la toma de decisiones a combinar la evidencia de los efectos de una intervencioacuten con el conocimiento para decidir sobre la aplicabilidad de esa evidencia a su situacioacuten La clave es que la evidencia de investigacioacuten que utilice para enfrentar cualquier desafiacuteo sea adecuada para su propoacutesito Debe haber utilizado el meacutetodo apropiado haber recopilado y analizado sus datos (ya sean cualitativos o cuantitativos) utilizando meacutetodos bien definidos y replicables e informar los hallazgos de una manera transparente que minimice la parcialidad

Al igual que con la investigacioacuten cuantitativa existen normas y directrices para evaluar la calidad de la investigacioacuten y la evaluacioacuten cualitativa74 Mientras que la calidad de los estudios experimentales se basa generalmente en la validez interna la adecuacioacuten de los informes y la validez externa la calidad de la investigacioacuten cualitativa por lo general se construye entorno a las dimensiones de contribucioacuten defensa rigor y credibilidad La contribucioacuten se refiere a si el estudio promueve un conocimiento o una comprensioacuten maacutes amplios sobre una poliacutetica una praacutectica una teoriacutea o un campo sustantivo particular La defensa se refiere a si el estudio proporciona una estrategia de investigacioacuten adecuada para abordar las preguntas de evaluacioacuten planteadas El rigor se refiere a la recopilacioacuten el anaacutelisis y la interpretacioacuten sistemaacuteticos y transparentes de datos cualitativos La credibilidad se refiere a queacute tan bien fundados y plausibles son los argumentos sobre la evidencia generada

EVITE laquoELEGIR A SU ANTOJOraquo USANDO REVISIONES SISTEMAacuteTICASLos responsables de la toma de decisiones deben pensar en la calidad de todo el conjunto de evidencia no solo en piezas de evidencia aisladas Deben utilizar colecciones agregadas

de investigacioacuten y la siacutentesis precisa de la informacioacuten existente se ha descrito como laquola oferta individual maacutes importante por parte de los acadeacutemicos para el proceso poliacuteticoraquo75 Gran parte de la reflexioacuten sobre la calidad expuesta anteriormente se ha centrado en estudios aislados de laquoinvestigacioacuten primariaraquo en otras palabras estudios individuales como experimentos encuestas o una serie de entrevistas Pero es importante considerar las laquosiacutentesis de investigacioacutenraquo el resumen y la combinacioacuten de una serie de estudios individuales Esta idea no es nueva y el concepto de tomar decisiones sobre la base de la evidencia acumulada se ha enfatizado durante siglos76

Nuestra discusioacuten anterior sobre los sesgos cognitivos mostroacute coacutemo las personas pueden caer inconscientemente en la trampa de buscar evidencia que se ajuste a sus creencias Por lo tanto debemos tener cuidado al recopilar la investigacioacuten existente y estar dispuestos a incluir la investigacioacuten incluso si no nos gustan sus conclusiones Una forma de evitar laquoelegir a su antojoraquo es utilizar lo que se conoce como revisiones sistemaacuteticas77 Estas tienen el objetivo de ser exhaustivas y encontrar la mayor investigacioacuten posible que sea relevante para responder a la pregunta que ayudaraacute con el desafiacuteo al que nos enfrentamos Usan meacutetodos expliacutecitos para identificar lo que se puede decir de manera confiable sobre la base de los estudios disponibles y evaluar el disentildeo de la investigacioacuten y los meacutetodos de estos estudios para determinar su calidad

Algunas de las caracteriacutesticas clave78 de una revisioacuten sistemaacutetica son

Planteamiento claro de la pregunta de investigacioacuten de los objetivos y de los criterios de elegibilidad para los estudios

Metodologiacutea expliacutecita y reproducible para minimizar la parcialidad

Buacutesqueda sistemaacutetica para identificar tantos estudios como sea posible que cumplan con los criterios de elegibilidad

Evaluacioacuten formal de la validez de los hallazgos de los estudios incluidos

Presentacioacuten sistemaacutetica y siacutentesis de las caracteriacutesticas y los hallazgos de los estudios incluidos

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 39: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 38

El Comiteacute Internacional de Rescate (IRC por sus siglas en ingleacutes) deposita una gran confianza en la evidencia a la hora de elaborar sus herramientas y documentos de orientacioacuten sobre los programas para el personal de campo Esto lo llevan a cabo mediante la realizacioacuten de revisiones de la evidencia de muchas fuentes de alta calidad en torno a intervenciones o enfoques especiacuteficos y utilizan lo aprendido sobre los efectos contextos poblaciones y condiciones para informar si es necesario adaptar tales intervenciones a contextos especiacuteficos y coacutemo hacerlo

Esto no estaacute exento de desafiacuteos ya que la mayoriacutea de los estudios disponibles no brindan informacioacuten criacutetica como la fidelidad de la implementacioacuten los mecanismos causales y la sensibilidad de geacutenero

La labor de toda la agencia del IRC para garantizar que la evidencia esteacute faacutecilmente a disposicioacuten de su personal se realiza mediante el desarrollo del marco de resultados y evidencia (oefrescueorg) En esta plataforma electroacutenica accesible al puacuteblico el IRC ha definido los resultados y subresultados en los que se centra el IRC durante su trabajo las teoriacuteas de cambio generales (o caminos) a traveacutes de las cuales sepueden lograr esos resultados y losindicadores para medirlosPara cada resultado y subresultado el IRC ha resumido la mejor evidencia cuantitativa disponible sobre la eficacia de las intervenciones que buscan cambiar mejorar el resultado o subresultado pertinente con un enfoque principal en la evidencia de las revisiones sistemaacuteticas Para los temas en los que auacuten no existen revisiones sistemaacuteticas el IRC ha identificado y resumido evaluaciones de impacto individuales

Utilizacioacuten de revisiones sistemaacuteticas para formular orientaciones para el personal

Los enfoques sistemaacuteticos tambieacuten tienen el valor de ser expliacutecitos acerca de coacutemo buscaron estudios de investigacioacuten y decidieron sobre su elegibilidad Por lo tanto al menos en teoriacutea79 otras personas podriacutean replicar la revisioacuten sistemaacutetica

En 2018 Christl Donnelly y sus colegas sugirieron cuatro principios para ayudar a los investigadores los encargados de la formulacioacuten de poliacuteticas y otros a encargar realizar compartir evaluar y utilizar siacutentesis de evidencia incluidas las revisiones sistemaacuteticas80 Propusieron que la siacutentesis de evidencia deberiacutea ser inclusiva rigurosa transparente accesible y elaborada en estas cuatro aacutereas de la siguiente manera

Inclusiva

Involucra a los encargados de la formulacioacuten de poliacuteticas y es relevante y uacutetil para ellos

Toma en consideracioacuten muchos tipos y fuentes de evidencia

Utiliza una serie de capacidades y personas

RigurosaUtiliza el conjunto de evidencia maacutes completo posible

Reconoce y minimiza la parcialidad

Se revisa de manera independiente como parte de un proceso de control de calidad

Transparente

Describe claramente la pregunta de investigacioacuten los meacutetodos las fuentes de evidencia y el proceso de control de calidad

Comunica las complejidades y los puntos de controversia

Reconoce las suposiciones limitaciones e incertidumbres incluida cualquier brecha en la evidencia

Declara los intereses personales poliacuteticos y organizativos y gestiona cualquier conflicto

Accesible

Estaacute redactada en lenguaje sencillo

Estaacute disponible en un marco de tiempo adecuado

Estaacute disponible en liacutenea de forma gratuita

ESTUDIO DE CASO

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 40: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

39 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

METAANAacuteLISISEl metaanaacutelisis es una parte importante de las revisiones sistemaacuteticas donde todos o algunos de los estudios incluidos son losuficientemente similares (laquohomogeacuteneosraquo)en teacuterminos de poblacioacuten intervencioacutencomparadores y resultados para que susconclusiones estadiacutesticas se agrupen y seagreguen Esto da lugar a una estimacioacutenacumulativa del efecto que suele tenerun riesgo de sesgos maacutes bajo que laestimacioacuten delefecto paralos estudios individuales aislados y mayor precisioacuten El metaanaacutelisis suele representarse con un diagrama de bosque81 como el que se muestra en la Figura C1 tomado de una revisioacuten sistemaacutetica reciente del impacto de los programas de apoyo para las poblaciones afectadas por emergencias humanitarias El metaanaacutelisis es quizaacutes mejor conocido por combinar los resultados de ensayos aleatorios pero tambieacuten se puede realizar con datos de otros tipos de estudios como los que han usado disentildeos de control de casos transversales o de cohortes

DIAGRAMAS DE BOSQUELa Figura C1 presenta las conclusiones de 28 evaluaciones de impacto en las que se compararon personas en emergencias humanitarias que habiacutean recibido programas de salud mental y apoyo psicosocial con las que no habiacutean recibido este tipo de intervencioacuten82 En este diagrama de bosque los datos presentan los efectos de los programas en la gravedad de los trastornos por estreacutes postraumaacutetico

Medida continua d(Hedges g)

Heterogeneidad Q=206 df=27 =0 I2=869 tau cuadrado=029Modelo de efectos aleatorios -0463 (-0689 -0237)

Figura C1 Diagrama de bosque del efecto de los programas de salud mental y apoyo psicosocial en el trastorno por estreacutes postraumaacutetico82

Berger (2009)

Catani (2009)

Chen (2014)

Chen (2014)

Cluver (2015)

Dybdahl (2001)

Ertl (2011)

Ertl (2011)

Gordon (2008)

Jordans (2010)

Khamis (2004)

Khamis (2004)

Lange-Neilsen (2012)

Layne (2008)

McMullen (2013)

OCallaghan (2013)

OCallaghan (2014)

OCallaghan (2015)

OCallaghan (2015)

Pityaratstian (2015)

Qouta (2012)

Qouta (2012)

Schauer (2008)

Tol (2008)

Tol (2012)

Tol (2012)

Tol (2014)

Tol (2014)

TOTAL

-1269 (-1607 | -0932) W51

0251 (-047 | 0971) W11

-1277 (-241 | -0144) W05

-0138 (-1152 | 0875) W06

059 (-0257 | 1436) W08

-0137 (-0558 | 0284) W33

-0457 (-112 | 0206) W13

-0035 (-07 | 0629) W13

-1116 (-1595 | -0637) W25

-018 (-0858 | 0498) W13

0205 (0006 | 0404) W146

0066 (-0178 | 0311) W97

-011 (-0462 | 0243) W46

-0109 (-0599 | 038) W24

-2727 (-3539 | 1915) W09

-1944 (-266 | -1228) W11

-0405 (-072 | -009) W58

-1994 (-2848 | 1141) W08

-2595 (-3558 | 1633) W06

-0473 (-1137 | 019) W13

001 (-0367 | 0387) W41

-0401 (-0813 | 0011) W34

-0062 (-07 | 0576) W14

-0656 (-098 | -0332) W55

0329 (0006 | 0652) W56

-0074 (-0329 | 018) W9

-0166 (-0479 | 0148) W59

-0102 (-0426 | -0222) W55

-0463 (-0689 | -0237)

-35 -3 -25 -2 -15

Favorece la intervencioacuten Favorece el control

-1 0 05 1

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 41: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 40

(TEPT) como una variable continua Para cada estudio en este diagrama de bosque el punto rojo representa el efecto promedio del tratamiento de la intervencioacuten y las liacuteneas paralelas a cada lado de los puntos rojos representan el intervalo de confianza para tal estudio La liacutenea negra vertical soacutelida que corre desde el 0 en el eje horizontal indica que no hay ninguna diferencia entre usar o no usar el programa y los resultados de todos los estudios se agrupan para proporcionar la estimacioacuten general de los efectos de los programas Esta nueva estadiacutestica de resumen es el diamante negro (en el ciacuterculo rojo) en la parte inferior del diagrama de bosque Esto representa la estimacioacuten acumulativa del efecto de agrupar y agregar los tamantildeos de los efectos promedio y las variaciones de todas las 28 evaluaciones de impacto incluidas en la revisioacuten Esto nos permite concluir que en promedio los programas de apoyo psicosocial y salud mental tienen un pequentildeo efecto positivo en el TEPT en comparacioacuten con no utilizar estas intervenciones

EVALUACIONES RAacutePIDAS DE EVIDENCIALa preparacioacuten de revisiones sistemaacuteticas y de metaanaacutelisis puede tomar mucho tiempo Esto significa que si no estaacute disponible una revisioacuten sistemaacutetica actualizada las personas que necesitan tomar una decisioacuten urgente podriacutean tener que realizar sus propias buacutesquedas de la evidencia pertinente y luego evaluar y sintetizar esto maacutes raacutepido que como ocurririacutea en una revisioacuten sistemaacutetica formal Afortunadamente la ya enorme cantidad de revisiones sistemaacuteticas sigue creciendo raacutepidamente y describimos coacutemo encontrarlas asiacute como diversas recopilaciones que estaacuten disponibles en la seccioacuten D Sin embargo si no puede encontrar lo que busca entre las revisiones sistemaacuteticas existentes o las revisiones que encuentra son obsoletas podriacutea tener que pensar en encargar una laquorevisioacuten sistemaacutetica

reducidaraquo como una evaluacioacuten raacutepida de evidencia83 Estas revisiones raacutepidas normalmente toman de 1 a 3 meses y estaacuten programadas para satisfacer las necesidades de los encargados de la formulacioacuten de poliacuteticas y los meacutedicos que no pueden esperar a que se realice una revisioacuten sistemaacutetica completa Utilizan la misma estructura baacutesica y las etapas de una revisioacuten sistemaacutetica completa pero no son tan profundas exhaustivas o integrales Tomaraacuten maacutes atajos en la buacutesqueda la evaluacioacuten criacutetica la extraccioacuten y recopilacioacuten de datos y el anaacutelisis estadiacutestico de los estudios incluidos Las conclusiones tambieacuten se presentan de forma maacutes corta y menos detallada que en una revisioacuten sistemaacutetica completa y podriacutean no ser de maacutes de 25 paacuteginas con un resumen ejecutivo de tres paacuteginas y un documento informativo de una paacutegina para los responsables de la toma de decisiones

Las limitaciones de las evaluaciones raacutepidas de evidencia consisten en que no son tan integrales o exhaustivas como las revisiones sistemaacuteticas y tienen una mayor probabilidad de ser objeto de sesgos que una revisioacuten sistemaacutetica completa Por consiguiente se necesita mayor precaucioacuten al basar una decisioacuten en los resultados de una evaluacioacuten raacutepida de evidencia que en una revisioacuten sistemaacutetica completa A pesar de estas limitaciones los encargados de la formulacioacuten de poliacuteticas y los ejecutores de programas las encargan y utilizan a menudo especialmente cuando el tiempo es esencial y no se dispone de revisiones sistemaacuteticas

Un tipo particular de revisioacuten raacutepida denominado evaluacioacuten raacutepida de necesidades de investigacioacuten tambieacuten se puede utilizar para identificar raacutepidamente las brechas en la evidencia El equipo de apoyo raacutepido para la salud puacuteblica del Reino Unido para brotes de enfermedades incluye un plan para realizar estas evaluaciones con Evidence Aid para identificar las incertidumbres importantes que podriacutea abordar la investigacioacuten en las etapas tempranas de una emergencia humanitaria relacionada con un brote de enfermedad

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 42: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

41 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

LA IMPORTANCIA DE LA REPETICIOacuteN Y LA CORROBORACIOacuteN Reflexionar sobre el concepto de brechas en la evidencia nos conduce a una de las otras cuestiones que hay que considerar al evaluar la calidad de un resumen de estudios de investigacioacuten el nuacutemero de estudios que es necesario incluir para sentirse seguro de que el conjunto de evidencia es lo suficientemente soacutelido iquestSeriacutea suficiente solo un par de estudios si son realmente buenos iquestO se necesitariacutean docenas o incluso cientos

La realidad es que no existe un nuacutemero maacutegico de estudios Sin embargo no podemos ignorar el hecho de que el tamantildeo del conjunto de evidencia es importante existe fuerza en los nuacutemeros y debemos contar con repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse Amgen una empresa farmaceacuteutica californiana intentoacute replicar 53 estudios histoacutericos de caacutencer El trabajo publicado en Nature84 confirmoacute los hallazgos de tan solo seis (el 11 ) de estos importantes estudios Esto es sumamente preocupante ya que los estudios han influenciado a las empresas farmaceacuteuticas y los tratamientos contra

el caacutencer a nivel mundial y la incapacidad de reproducirlos podriacutea indicar que sus conclusiones no son confiables Por otra parte no queremos ver que los estudios se repitan una y otra vez mucho despueacutes de que la base empiacuterica sea soacutelida85 Los estudios innecesarios representan un desperdicio de la investigacioacuten86 y en el contexto de los ensayos aleatorios podriacutean ser poco eacuteticos si algunos participantes siguen siendo aleatorizados a intervenciones que distan de ser oacuteptimas

ANAacuteLISIS DE REVISIONES COacuteMO EVALUAR LOS CONJUNTOS DE EVIDENCIA DE ALTA CALIDADDebemos recordar que los meacutetodos formales para reunir las investigaciones por ejemplo en revisiones sistemaacuteticas no siempre conducen a una respuesta de alta calidad Sigue siendo necesario evaluar la calidad del disentildeo y aplicacioacuten de la revisioacuten de la evidencia y la calidad de cualquier siacutentesis solo puede ser tan buena como la calidad de los estudios sobre los que se basa Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

Tambieacuten existen herramientas formales de evaluacioacuten para valorar la calidad de las revisiones sistemaacuteticas como AMSTAR87 Asimismo se puede utilizar una de las listas de control originales para evaluar la calidad de las revisiones sistemaacuteticas78 que formulan una serie de preguntas

iquestLa pregunta estaacute claramente definida

iquestLa buacutesqueda de estudios pertinentes es exhaustiva

iquestLos criterios de inclusioacuten son adecuados

iquestSe aborda adecuadamente validez de los estudios incluidos

iquestSe ha obtenido la informacioacuten faltante de los investigadores originales

iquestQueacute tan susceptibles son los resultados a cambios en la manera de realizar la revisioacuten

iquestSe han interpretado los anaacutelisis por subgrupos cuidadosamente

Una nota del Departamento de Desarrollo Internacional del Reino Unido sobre coacutemo evaluar la solidez de la evidencia enumera cuatro puntos por considerar al examinar los conjuntos de evidencia41

La calidad (teacutecnica) de los estudios que constituyen el conjunto de evidencia (o el grado en que se abordoacute el riesgo de sesgo)

El tamantildeo del conjunto de evidencia

El contexto en el que se situacutea la evidencia

La coherencia de los resultados producidos por los estudios que constituyen el conjunto de evidencia

VOLVER AL IacuteNDICE

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 43: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN C | iquestQUEacute TIPO DE EVIDENCIA DEBE ELEGIR

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 42

Para encontrar evidencia en la que pueda confiar busque investigacioacuten revisada por pares Pero tenga en cuenta que la revisioacuten por pares estaacute lejos de ser perfecta Podriacutea haber sesgos inconscientes como el laquogregarismoraquo sesgo de publicacioacuten hacia resultados positivos o incluso la falsificacioacuten o distorsioacuten deliberada de datos

Al analizar las cuestiones de impacto y laquolo que funcionaraquo utilice los marcos y normas formales de evidencia como los utilizados por Nesta y otros

Un estudio nunca es suficiente Evite tomar decisiones basadas en estudios individuales y busque muacuteltiples repeticiones Hay fuerza en los nuacutemeros y

se necesita repeticioacuten y corroboracioacuten Incluso los estudios que han recibido muchos elogios necesitan repetirse pero es necesario evitar realizar los estudios una y otra vez mucho despueacutes de que la base empiacuterica sea suficientemente soacutelida

Utilice revisiones sistemaacuteticas cuyo propoacutesito es ser exhaustivas y analizar la calidad de los estudios por lo general sobre la base de los meacutetodos y el disentildeo de la investigacioacuten

Si no tiene tiempo de realizar una revisioacuten sistemaacutetica o no puede encontrar una ya completada que responda a su pregunta podriacutea realizar o encargar una evaluacioacuten raacutepida de evidencia89

Mensajes clave de la Parte 2 de la Seccioacuten C

Incluso el anaacutelisis mejor realizado no puede convertir una investigacioacuten de baja calidad en una respuesta de alta calidad

iquestLas conclusiones surgen de la evidencia que se analiza

iquestLas recomendaciones estaacuten vinculadas a la solidez de la evidencia

iquestSon vaacutelidos los juicios sobre las preferencias (valores)

iquestSe confunde laquopruebas de ausencia de efectoraquo con laquono hay pruebas del efectoraquo

La evaluacioacuten de todos estos criterios siempre seraacute algo bastante subjetivo y se necesita tener en cuenta el contexto de la cuestioacuten poliacutetica Es difiacutecil dar consejos generales sobre lo que constituiriacutea el

conjunto de evidencia correcto para una poliacutetica Tambieacuten estamos comenzando a ver la combinacioacuten de las conclusiones de muacuteltiples revisiones sistemaacuteticas en laquoanaacutelisis de revisionesraquo Por supuesto esto no puede funcionar si no hay un conjunto de revisiones sistemaacuteticas existentes y en algunos sectores hay pocas Sin embargo estos anaacutelisis de revisiones pueden proporcionar una evaluacioacuten y un resumen de evidencia de muacuteltiples revisiones sistemaacuteticas de la misma intervencioacuten o proporcionar una resentildea de la evidencia de una recopilacioacuten de revisiones de diferentes intervenciones en el mismo aacutembito temaacutetico88

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 44: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

43 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

BUacuteSQUEDA DE EVIDENCIA DE INVESTIGACIOacuteN

Con el raacutepido crecimiento del nuacutemero de personas y organizaciones que trabajan en revisiones sistemaacuteticas la literatura ahora cuenta con una cantidad cada vez mayor de estas revisiones por lo que es posible que encuentre una que satisfaga sus necesidades Una estimacioacuten reciente es que hay maacutes de 200000 revisiones sistemaacuteticas en todas las aacutereas temaacuteticas Por supuesto solo una pequentildea parte de ellas seriacutea relevante para el sector humanitario pero (como se sentildeala a continuacioacuten) hay conjuntos de revisiones disponibles gratuitamente en colecciones en liacutenea como las comisariadas por Evidence Aid Tambieacuten hay grandes organizaciones internacionales como Cochrane (wwwcochraneorg) y Campbell Collaboration (wwwcampbellcollaboration org) dedicadas a la preparacioacuten y el mantenimiento de revisiones sistemaacuteticas que las publican en liacutenea

Sin embargo si necesita realizar sus propias buacutesquedas de estudios sobre los efectos de la accioacuten humanitaria el punto de partida es reconocer que no siempre son faacuteciles de encontrar y es posible que necesite la ayuda de un bibliotecario o un especialista en informacioacuten que pueda asesorarlo y quizaacute le ayude en el disentildeo y la ejecucioacuten de la buacutesqueda La evidencia estaacute dispersa en miles de informes distribuidos en miles

de revistas libros y sitios web muchos de los cuales no son gratuitos o faacuteciles de consultar Al considerar doacutende buscar es importante tener en cuenta doacutende es probable que haya sido publicada e indexada la evidencia que le interesa y queacute tan exhaustivo desea ser Por ejemplo si se publicaron en una revista cientiacutefica los artiacuteculos podriacutean estar disponibles a traveacutes de una de las miles de bases de datos bibliograacuteficas electroacutenicas Estas incluyen por ejemplo PubMed para la atencioacuten meacutedica LILACS para artiacuteculos de especial relevancia para Sudameacuterica o ERIC para literatura educativa Tambieacutenpuede ser necesario identificar literaturagris como informes gubernamentales ode ONG e investigaciones presentadas enconferencias lo que requeriraacute buacutesquedasen bases de datos electroacutenicas como OpenGrey (wwwopengreyeu) y en los sitiosweb de las organizaciones que quizaacutes hayanllevado a cabo investigaciones en la materia

Al planificar una buacutesqueda puede ser uacutetil dividir los elementos de buacutesqueda en los tipos de intervencioacuten o poliacutetica que le interesan la poblacioacuten o los entornos pertinentes las mediciones de resultados que seriacutean maacutes uacutetiles para su toma de decisiones y los tipos de estudio que desea encontrar Luego puede decidir queacute aacuterea o aacutereas son las maacutes importantes y uacutetiles para identificar el material que maacutes le interesa

iquestDoacutende debe buscar la evidencia

Esta seccioacuten incluye consejos y recursos para ayudarle a encontrar la evidencia que mejor se adapte a su situacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 45: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 44

Debe tener en cuenta los tipos de fuentes por consultar que pueden incluir

Bases de datos bibliograacuteficas (p ej PubMed LILACS ERIC)

Sitios web de revistas y conferencias (p ej aquellos centrados en desastres o accioacuten humanitaria)

Registros de investigaciones (tales como a traveacutes del portal de ensayos de la OMS wwwresearchregistrycom y PROSPERO para revisiones sistemaacuteticas)

Recopilaciones en liacutenea de evidencia de investigacioacuten (veacutease a continuacioacuten p ej ALNAP 3ie)

Sitios web de organizaciones relevantes (p ej para informes gubernamentales y de ONG)

Referencias en artiacuteculos

Correspondencia con investigadores y evaluadores

FUENTES DE REVISIONES SISTEMAacuteTICAS Y OTRAS INVESTIGACIONES PARA EL SECTOR HUMANITARIODebido a estos retos al buscar evidencia es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas en lugar de depender de buacutesquedas al azar en internet Afortunadamente varias organizaciones trabajan actualmente para recopilar evidencia pertinente en fuentes en liacutenea Estas incluyen las siguientes

La Red de Aprendizaje Activo sobre Rendicioacuten de Cuentas y Resultados de la Accioacuten Humanitaria (ALNAP por sus siglas en ingleacutes) es organizada por el Instituto de Desarrollo de Ultramar (ODI por sus siglas en ingleacutes) en Londres Reino Unido con una paacutegina web que contiene maacutes de 15000 recursos incluidas las publicaciones de la ALNAP relativas a la evidencia y a los detalles de miles de evaluaciones

Luego del tsunami en el Oceacuteano Iacutendico en 2004 se sentaron las bases de Evidence Aid en Cochrane cuando se publicaron gratuitamente en liacutenea los textos completos de varias docenas de revisiones de Cochrane relacionadas con la respuesta a los desastres Se establecioacute como organizacioacuten beneacutefica en 2015 y ya ha recopilado cientos de revisiones sistemaacuteticas accesibles gratuitamente a traveacutes de su paacutegina web (wwwevidenceaid org) incluidos entre otros conjuntos de Colecciones Especiales de revisiones relacionadas con vendavales terremotos Eacutebola el estado de salud de los refugiados y solicitantes de asilo el trastorno por estreacutes postraumaacutetico y la prevencioacuten de la malnutricioacuten aguda en situaciones de emergencia y crisis humanitarias

La Iniciativa Internacional para la Evaluacioacuten de Impacto (3ie) se creoacute en 2008 y actualmente ofrece cuatro bases de datos para consulta en liacutenea (www3ieimpactorg) Dos de ellas la Base de Datos de Revisiones Sistemaacuteticas de 3ie y la

Al elegir los teacuterminos por incluir en su buacutesqueda debe considerar

Sinoacutenimos de diferentes eacutepocas y lugares

Otras palabras y frases relacionadas con lo que le interesa

Palabras maacutes amplias

Palabras maacutes especiacuteficas o enfocadas

Teacuterminos de indexacioacuten o palabras clave asignadas a los artiacuteculos por los autores originales o la base de datos bibliograacutefica

Y por uacuteltimo debe decidir si aplicaraacute alguna restriccioacuten seguacuten el idioma o el periacuteodo en que se realizoacute o publicoacute la investigacioacuten

VOLVER AL IacuteNDICE

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 46: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

SECCIOacuteN D | iquestDOacuteNDE DEBE BUSCAR LA EVIDENCIA

45 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

Base de Datos de Evaluaciones de Impacto catalogan la evidencia de la eficacia de las intervenciones en el sector humanitario Tambieacuten incluyen revisiones sistemaacuteticas y evaluaciones de impacto sobre el contexto general del desarrollo internacional muchas de las cuales son relevantes para las intervenciones en situaciones de emergencia

La evidencia de investigacioacuten pertinente para el sector humanitario estaacute dispersa en decenas de miles de informes distribuidos en miles de revistas libros y paacuteginas web

Buscar esta evidencia puede requerir ayuda de un especialista en informacioacuten y disentildear la buacutesqueda requiere considerar con cautela lo que se estaacute buscando las fuentes de buacutesqueda los teacuterminos por usar en la buacutesqueda y cualquier restriccioacuten relacionada con el idioma o el periacuteodo

Las revisiones sistemaacuteticas proporcionan resuacutemenes y siacutentesis de la evidencia de investigacioacuten

Existen muchos repositorios de investigacioacuten disponibles en liacutenea lo que mejora el acceso a las revisiones sistemaacuteticas y a otros tipos de evidencia de investigacioacuten

Mensajes clave de la Seccioacuten D

CONCLUSIOacuteN

Como conclusioacuten de esta guiacutea sobre el uso de la evidencia en el sector humanitario le recomendamos aprovechar los resuacutemenes de investigaciones accesibles procesables y disponibles de manera gratuita como las revisiones sistemaacuteticas contenidas en las paacuteginas web que hemos mencionado Esto le ayudaraacute a moverse raacutepido hacia las fuentes de evidencia que podriacutean ayudar a informar su poliacutetica y su praacutectica

Es posible que sea maacutes eficaz y faacutecil utilizar repositorios confiables de investigaciones y revisiones sistemaacuteticas

Estamos llevando una lista maacutes completa y actualizada de este tipo de recursos en liacutenea en wwwevidenceaidorgonline-collections-of-research-for-the-humanitarian-sector

La lista proporciona una gran variedad de recursos de investigacioacuten en liacutenea varios de ellos gratuitos y de faacutecil acceso Deberiacutean ser uacutetiles para cualquier encargado de la formulacioacuten de poliacuteticas ONG o profesional de primera liacutenea en el sector humanitario y proporcionan un acceso faacutecil a evidencia fiable y de alta calidad sobre la eficacia de las intervenciones Si desea sugerir recursos adicionales para esta lista poacutengase en contacto con Evidence Aid infoevidenceaidorg

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 47: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 46

Referencias y notas finales1 Collins S Sadler K (2002) Outpatient care for severely malnourished children in emergency relief programmes a retrospective cohort study Lancet 360 1824-30

2 OMS Programa Mundial de Alimentos Comiteacute Permanente de Nutricioacuten del Sistema de las Naciones Unidas y UNICEF (2007) Community-based management of severe acute malnutrition a joint statement by the WHO World Food Programme UN System Standing Committee on Nutrition and UNICEF Nueva York UNICEF

3 Price AI Djulbegovic B (2017) What does evidence mean Most languages translate ldquoevidencerdquo into ldquoproofrdquo Journal of Evaluation in Clinical Practice 23(5) 971-3

4 Sackett D et al (1996) Evidence based medicine what it is and what it isnrsquot British Medical Journal 312 71 Veacutease wwwbmjcomcontent312702371

5 La definicioacuten de medicina basada en evidencia surgioacute en un momento en el que la mayoriacutea de las decisiones meacutedicas se basaban en la experiencia la autoridad y la eminencia La praacutectica meacutedica no se basaba en la mejor evidencia cientiacutefica disponible Algunos comentaristas e investigadores sostienen que la poliacutetica social se encuentra en el mismo lugar que la medicina hace 20 o 30 antildeos es decir que la autoridad domina la toma de decisiones en lugar de la evidencia de investigacioacuten

6 Allen C et al (2016) Evidence Aid Oxford Public Health August 51-54 Blanchet K et al (2017) Evidence on public health interventions in humanitarian crises Lancet 390 2287-96 y Christoplos I et al (2017) Strengthening the quality of evidence in humanitarian evaluations ALNAP Method Note Londres ALNAPODI (veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-5-2017pdf)

7 Knox Clarke P Darcy J (2014) Insufficient evidence The quality and use of evidence in humanitarian action Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-evidencepdf

8 wwwoxforddictionariescomdefinitionenglishevidence

9 Nutley S et al (2013) What Counts as Good Evidence Londres Reino Unido Alliance for Useful Evidence

10 Hallam A Bonino F (2013) Using Evaluation for a Change Insights from humanitarian practitioners Estudio ALNAP Londres ALNAPODI Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-study-using-evaluation-for-a-changepdf

11 Ariely D (2009) Predictably Irrational The Hidden Forces that Shape Our Decisions Londres Reino Unido HarperCollins

12 HM Treasury (2011) The Green Book Appraisal and Evaluation in Central Government Londres Reino Unido HM Treasury

13 Christoplos I (2006) Links between Relief Rehabilitation and Development in the Tsunami Response A Synthesis of Initial Findings Estocolmo Suecia Swedish International Development Cooperation Agency

14 Zsambok CE Klein G (editores) (2014) Naturalistic decision making Nueva York EEUU Psychology Press

15 Kahneman D et al (2009) Conditions for intuitive expertise a failure to disagree American Psychology 64 515-26 Veacutease wwwncbinlmnihgovpubmed19739881

16 Estas estimaciones provienen de Cash Learning Partnership (CaLP) (2018) The State of the Worldrsquos Cash Report Oxford CaLP Doing Cash Differently Report of the High Level Panel on Cash Transfers (2015) y Development Initiatives (2017) Global Humanitarian Assistance Report

17 ODI Development Initiatives (2016) Counting Cash Tracking Humanitarian Expenditure on Cash-Based Programming

18 Oxfam (2006) Good Practice Review 11 Cash Transfer Programming in Emergencies Oxford Oxfam

19 Jackson R (Save the Children UK) Kukrety N (Oxfam GB) (2012) Institutionalising cash transfer programming Veacutease httpsodihpnorgmagazineinstitutionalising-cash-transfer-programming

VOLVER AL IacuteNDICE

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 48: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

NOTAS FINALES

47 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

20 Veacutease wwwhumanitarianresponseinfoenprogramme-cyclespace

21 La discusioacuten de los desafiacuteos de la toma de decisiones tras las circunstancias excepcionales de una emergencia grave por radiacioacuten estaacute disponible en Carr Z et al (2016) Using the GRADE approach to support the development of recommendations for public health interventions in radiation emergencies Radiation Protection Dosimetry 171 144-55 y Ohtsuru A et al (2015) Nuclear disasters and health lessons learned challenges and proposals Lancet 386 489-97

22 Bradley DT et al (2014) The effectiveness of disaster risk communication a systematic review of intervention studies PLOS Currents Disasters August 22 Edition 1

23 Una discusioacuten sobre la importancia de prestar atencioacuten a la forma en que los donantes recopilan utilizan y comparten evidencia e informacioacuten estaacute disponible en Obrecht A (2017) Using Evidence to Allocate Humanitarian Resources Challenges and Opportunities Documento de trabajo de la ALNAP Londres ALNAPODI Veacutease httpsreliefwebintsitesreliefwebintfilesresourcesalnap-eaar-resource-allocation-2017pdf

24 Nesta (2013) Understand how innovation works Viacutedeo disponible en wwwnestaorgukresourcesunderstand-how-innovation-works

25 Obrecht A Warner AT (2016) More than just luck Innovation in humanitarian action Estudio HIFALNAP Londres ALNAPODI

26 Jones G et al (2003) How many child deaths can we prevent this year Lancet 362 65-71 Veacutease httpslinkinghubelseviercomretrievepiiS0140-6736(03)13811-1

27 Nyhan B Reifler J (2010) When corrections fail The persistence of political misperceptions Political Behavior 32 303-30

28 White H (2009) Theory-based impact evaluation principles and practice working paper 3 Delhi India International Initiative for Impact Evaluation paacutegina 4

29 Waddington H et al (2009) Water Sanitation and hygiene interventions to combat childhood diarrhoea in developing countries a systematic review Delhi India International Initiative for Impact Evaluation

30 Nesta y TSIP (2014) Guidance for Developing a Theory of Change for Your Programme Veacutease wwwnestaorguksitesdefaultfilestheory_of_change_guidance_for_applicants_pdf

31 Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development

32 Gerdin M et al (2014) Optimal evidence in difficult settings improving health interventions and decision making in disasters PLoS Medicine 11(4) e1001632

33 Mulgan G (2015) The six Ws a formula for what works Londres Nesta Veacutease wwwnestaorgukblogsix-ws-formula-what-works

34 wwwebola-anthropologynetabout-the-network

35 Faye SL (2015) Lldquoexceptionnaliteacuterdquo drsquoEbola et les ldquoreacuteticencesrdquo populaires en Guineacutee-Conakry Reacuteflexions agrave partir drsquoune approche drsquoanthropologie symeacutetrique Anthropologie amp Santeacute Veacutease httpsjournalsopeneditionorganthropologiesante1796

36 httppubmanmpdlmpgdepubmanitemescidoc2096578componentescidoc2103624AAA-Ebola-Report-1pdf

37 Fairhead J (2016) Understanding Social Resistance to the Ebola Response in the Forest Region of the Republic of Guinea An Anthropological Perspective African Studies Review 59 7-31 doi101017asr201687

38 Abramowitz S et al (2015) Social science intelligence in the global Ebola response Lancet 385 330

39 Petticrew M et al (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9

40 Una lista oficial y exhaustiva de los marcos y meacutetodos de investigacioacuten de las ciencias sociales estaacute disponible en Luff R et al (2015) Review of the Typology of Research Methods within the Social Sciences Londres Reino Unido ESRCNational Centre for Research Methods Veacutease httpeprintsncrmacuk3721

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 49: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 48

41 Department for International Development (2014) How to Note Assessing the Strength of Evidence Veacutease wwwgovukgovernmentuploadssystemuploadsattachment_datafile291982HTN-strength-evidence-march2014pdf

42 Adaptado de HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences Londres Reino Unido HM TreasuryDEFRADECC Frost S et al (2006) The Evidence Guide Using Research and Evaluation in Social Care and Allied Professions Londres Reino Unido Barnardorsquos Petticrew M Roberts H (2003) Evidence hierarchies and typologies horses for courses Journal of Epidemiology and Community Health 57 527-9 y Stern E (2015) Impact Evaluation A Design Guide for Commissioners and Managers of International Development Evaluations in the Voluntary and Community Sector Londres Reino Unido Big Lottery Fund Bond Comic Relief y the Department for International Development Tabla 2 paacutegina 18

43 Odgaard-Jensen J et al (2011) Randomisation to protect against selection bias in health care trials Cochrane Database of Systematic Reviews (4)MR000012

44 White H (2013) An introduction to the use of randomised control trials to evaluate development interventions Journal of Development Effectiveness 5(1) 30-49

45 Veacutease por ejemplo Schulz KF et al (2010) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials PLoS Medicine 7(3) e1000251 Higgins JP et al (2011) CONSORT 2010 statement updated guidelines for reporting parallel group randomised trials BMJ 343d5928

46 Puri J et al (2015) What methods may be used in impact evaluations of humanitarian assistance documento de trabajo 22 Delhi India Iniciativa Internacional para la Evaluacioacuten de Impacto Veacutease www3ieimpactorgmediafiler_public20141208wp_22_humanitarian_ methods_working_paper-toppdf

47 Doocy S Burnham G (2006) Point-of-use water treatment and diarrhoea reduction in the emergency context an effectiveness trial in Liberia Tropical Medicine and International Health 11 1542-52

48 White H et al (2014) Randomised Controlled Trials (RCTs) Methodological Briefs Evaluacioacuten de impacto ndeg 7 Florencia Italia Unicef Veacutease wwwunicef-ircorgpublicationspdfbrief_7_randomised_controlled_trials_engpdf

49 Gertler P (2000) Final Report The Impact of PROGRESA on Health Washington DC EEUU International Food Policy Research Institute (IFPRI) Veacutease wwwifpriorgpublicationimpact-progresa-health

50 Hainmueller J et al (2017) Catalyst or crown does naturalization promote the long-term social integration of immigrants American Political Science Review 111(2) 256-76 doi101017S0003055416000745

51 Bozorgmehr K et al (2015) Effect of restricting access to health care on health expenditures among asylum-seekers and refugees A quasi-experimental study in Germany 1994ndash2013 PLoS ONE 10 e0131483

52 Rossi R et al (2016) Vaccination coverage cluster surveys in Middle Dreib - Akkar Lebanon comparison of vaccination coverage in children aged 12-59 months pre- and post-vaccination campaign PLoS ONE 11(12) e0168145

53 Alexander J Bonino F (2015) A discussion on designs approaches and examples ALNAP Discussion Series Improving the quality of EHA evidence Method Note 4 January 2015 Veacutease wwwalnaporgsystemfilescontentresourcefilesmainalnap-eha-method-note-addressing-causation-jan2015pdf

54 Waddington H et al (2017) Quasi-experimental study designs series paper 6 risk of bias assessment Journal of Clinical Epidemiology 89 43-52 y Baumlrnighausen T et al (2017) Quasi-experimental study designs seriesmdashpaper 7 assessing the assumptions Journal of Clinical Epidemiology 89 53-66

55 Nielsen NS et al (2013) The Contribution of Food Assistance to Durable Solutions in Protracted Refugee Situations its impact and role in Bangladesh A Mixed Method Impact Evaluation Volume I-Evaluation Report Ginebra Suiza Programa Mundial de AlimentosACNUR

VOLVER AL IacuteNDICE

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 50: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

NOTAS FINALES

49 | EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO

56 Carter R (2012) Helpdesk Research Report Theory-based evaluation approach Universidad de Birmingham Reino Unido Birmingham Governance and Social Development Resource Centre Veacutease wwwgsdrcorgdocsopenhdq872pdf

57 Westhorp G (2014) Realist Evaluation An Introduction Londres Reino Unido Methods Lab Overseas Development Institute Veacutease wwwodiorgsitesodiorgukfilesodi-assetspublications-opinion-files9138pdf

58 Mayne J (2012) Contribution Analysis Coming of Age Evaluation 18(3) 270-80

59 Para anaacutelisis de red y seguimiento de procesos veacutease Befani B et al (2014) Process tracing and contribution analysis a combined approach to generative causal inference for impact evaluation IDS Bulletin 45(6) 17-36

60 Baptist C et al (2015) Coffey How To Guide Qualitative Comparative Analysis ndash A Rigorous Qualitative Method for Assessing Impact Veacutease wwwcoffeycomassetsIngenuityQualitative-Comparative-Analysis-June-2015pdf

61 Stern E et al (2012) Broadening the range of designs and methods for impact evaluations Londres Reino Unido Department for International Development

62 Por ejemplo veacutease la guiacutea de Carol Weiss Weiss C (1998) Evaluation methods for studying programs and policies Nueva York EEUU Prentice Hall

63 Ioannidis JA (2005) Contraindications and Initially Stronger Effects in Highly Cited Clinical Research Journal of the American Medical Association 294(2) 218-28

64 Para una revisioacuten sistemaacutetica del sesgo de publicacioacuten veacutease Hopewell S et al (2009) Publication bias in clinical trials due to statistical significance or direction of trial results Cochrane Database of Systematic Reviews (1) MR000006 doi 10100214651858MR000006pub3

65 Franco A et al (2014) Social science Publication bias in the social sciences unlocking the file drawer Science 345 1502-5

66 Sense about Science (2006) I donrsquot know what to believe Making sense of science stories Veacutease wwwsenseaboutscienceorgresourcesphp16i-dont-know-what-to-believe

67 Veacutease por ejemplo el suplemento de la guiacutea Magenta HM Treasury DECC y DEFRA (2012) Quality in policy impact evaluation understanding the effects of policy from other influences La guiacutea muestra coacutemo los disentildeos de investigacioacuten de mayor calidad pueden ayudar a superar el desafiacuteo de atribuir los resultados medidos a la poliacutetica en cuestioacuten (en lugar de otras influencias) mientras que los disentildeos de menor calidad reducen la confianza de si fue la poliacutetica la que logroacute esos resultados (paacutegina 5)

68 httpgradeworkinggrouporg

69 Farrington RP et al The Maryland Scientific Methods Scale en Farrington DP et al Evidence-based crime prevention Londres Reino Unido Routledge 2002 capiacutetulo 2

70 Para un modelo de enfoques diferentes sobre la calidad que incluye las cuatro dimensiones de (1) calidad metodoloacutegica (2) calidad de informes (3) adecuacioacuten y (4) pertinencia para la poliacutetica y la praacutectica veacutease Boaz A Ashby D (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

71 Callaway E (2011) Report finds massive fraud at Dutch universities Nature 479(15) Veacutease wwwnaturecom news2011111101full479015ahtml

72 Boaz A et al (2003) Fit for purpose Assessing research quality for evidence based policy and practice Documento de trabajo 11 Londres Reino Unido ESRC UK National Centre for Evidence Based Policy and Practice

73 La investigacioacuten cualitativa explora y trata de entender las creencias experiencias actitudes comportamiento e interacciones de las personas Genera datos no numeacutericos que podriacutean recolectarse mediante por ejemplo entrevistas profundas grupos de enfoque anaacutelisis documental y observacioacuten de los participantes

VOLVER AL IacuteNDICE

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 51: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

NOTAS FINALES

EVIDENCIA DE INVESTIGACIOacuteN EN EL SECTOR HUMANITARIO | 50

74 Spencer L et al (2002) Quality in Qualitative Evaluation A framework for assessing research evidence Londres Reino Unido Cabinet Office CASP (2018) CASP Checklist for Qualitative Research Oxford Reino Unido Critical Appraisal Skills Programme National Institute for Health and Clinical Excellence (2012) The guidelines manual Appendix H Methodology checklist qualitative studies Londres Reino Unido National Institute of Health and Clinical Excellence y OBrien BC et al (2014) Standards for reporting qualitative research a synthesis of recommendations Academic Medicine 89 1245-51

75 Whitty CJM (2015) What makes an academic paper useful for health policy BMC Medicine 13 301

76 Veacutease por ejemplo la discusioacuten sobre la importancia de usar evidencia existente a la hora de disentildear nuevos estudios en Clarke M (2004) Doing new research Dont forgetthe old nobody should do a trial withoutreviewing what is known PLoS Medicine 1 100-2 y la historia de las revisiones sistemaacuteticasen Chalmers I et al (2002) A brief history ofresearch synthesis Evaluation and the HealthProfessions 25 12-37 y Clarke M (2016) Historyof evidence synthesis to assess treatmenteffects personal reflections on something thatis very much alive JLL Bulletin Commentarieson the history of treatment evaluation Journalof the Royal Society of Medicine 109 154-63

77 Allen C (2014) A resource for those preparing for and responding to natural disasters humanitarian crises and major health care emergencies Journal of Evidence-Based Medicine 7 234-7 y Gurevitch J et al (2018) Meta-analysis and the science of research synthesis Nature 555 175-82

78 Oxman AD (1994) Checklists for review articles BMJ 309 648-51

79 Para una criacutetica de la aplicacioacuten de las siacutentesis de investigacioacuten a la poliacutetica veacutease Pawson R (2001) Evidence Based Policy In Search ofa Method Documento de trabajo 3 LondresReino Unido ESRC UK National Centre forEvidence Based Policy and Practice

80 Donnelly CA et al (2018) Four principles for synthesizing evidence Nature 558 361-4

81 Lewis S Clarke M (2001) Forest plots trying to see the wood and the trees BMJ 3221479-80

82 Bangpan M et al (2017) The impact of mental health and psychosocial support programmes for populations affected by humanitarian emergencies Oxford Reino Unido Oxfam

83 Ganann R et al (2010) Expediting systematic reviews methods and implications of rapid reviews Implementation science 5 56 y Tricco AC et al (2015) A scoping review of rapid review methods BMC Medicine 13 224

84 Begley CG et al (2010) Drug development Raise standards for preclinical cancer research Nature 483 531-3

85 Una revisioacuten de investigaciones que habiacutean incluido uno o maacutes metaanaacutelisis acumulativos encontroacute muchos ejemplos que demuestran que se habriacutean visto resultados estables (beneficiosos nocivos y neutros) si se hubiera hecho un metaanaacutelisis de la investigacioacuten existente antes de comenzar un nuevo ensayo aleatorio lo que habriacutea conducido a la implementacioacuten maacutes raacutepida de intervenciones eficaces Clarke M et al (2014) Accumulating research a systematic account of how cumulative meta-analyses would have provided knowledge improved health reduced harm and saved resources PLoS ONE 9(7) e102670

86 Chalmers I et al (2014) How to increase value and reduce waste when research priorities are set Lancet 383 156-65

87 Shea BJ et al (2007) Development of AMSTAR a measurement tool to assess the methodological quality of systematic reviews BMC Medical Research Methodology 710 y Shea BJ et al (2017) AMSTAR 2 a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of health care interventions or both BMJ 358 j4008

88 Smith V et al (2011) Methodology in conducting a systematic review of systematic reviews of health care interventions BMC Medical Research Methodology 11 15

89 Veacutease por ejemplo Brennan RJ et al (2005) ERapid health assessment in Aceh Jaya district Indonesia following the December 26 tsunami Emergency Medicine Australasia 17 341e350 y Beebe J (2014) Rapid Qualitative Inquiry a Field Guide to Team-based Assessment segunda edicioacuten Lanham Maryland EEUU Rowman amp Littlefield

VOLVER AL IacuteNDICE

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas

Page 52: Evidencia de investigación en el sector humanitario...Evidence Aidww.evidenceaid.org (w ) defiende un enfoque basado en evidencia en el sector humanitario. Su misión es aliviar el

Karl Blanchet Director del Centro de Crisis Sanitarias y Humanitarias Escuela de Higiene y Medicina Tropical de Londres

KarlBlanchetlshtmacuk | criseslshtmacuk

Mike Clarke Director de investigacioacuten de Evidence AidCentro de Salud Puacuteblica Universidad de la Reina de Belfast

mclarkequbacuk | wwwqubacuk

Foto de portada copy Patrick BrownUNICEFPanos Pictures

Esta traduccioacuten ha sido posible gracias al generoso esfuerzo de los traductores de Translators without Borders (TWB) una organizacioacuten sin aacutenimo de lucro que trabaja

para lograr un mundo en el que el conocimiento no tenga barreras linguumliacutesticas