MMEIC_M6_evaluacion (1)

8/17/2019 MMEIC_M6_evaluacion (1)

1/37

Evaluación de proyectos:

aspectos en los que se fijan los

evaluadores

Miguel Delgado RodríguezCatedrático de Medicina Preventiva y Salud Pública

Coordinador FIS

1

In memoriam: ADR, maestro y padre


2/37

Apartados de un proyecto

• Título• Resumen

• Antecedentes• Hipótesis• Objetivos

• Métodos• Cronograma y reparto de tareas• Experiencia en el tema

• Utilidad esperada. Plan de difusión• Recursos disponibles• Recursos solicitados

• Curriculum vitae


3/37

Título: ¿es posible equivocarse en el título?

No esté claro que es lo que se persigue: de alguna

manera el objetivo principal debe estar en el título.Aparición de siglas no conocidas

Evaluar el Título delejemplo deproyecto


4/37


• Título

• Resumen






5/37

Resumen: errores frecuentes

• No atenerse a lo que se pide (sólo Objetivos y

Métodos)• No coinciden los resúmenes en inglés y castellano

• No coincide el resumen con el proyecto

• Resumen en inglés mal escrito

Evaluar el Resumendel ejemplo deproyecto


6/37








7/37

Antecedentes: errores conceptuales

frecuentes• No hay revisión crítica de los estudios que han tratado de

contestar antes a las preguntas, detallando sus problemas y

limitaciones.• Deben estar los estudios claves

• No se establece la pertinencia del estudio: justificar un estudioadicional y concluir con un modelo teórico para resolver elproblema de investigación.

• No citar los estudios clave• No intercalar las referencias bibliográficas• Detenerse en hechos obvios


8/37

Antecedentes: errores en la presentación

• Consumir todo el espacio: un mazacote lleno de texto• Faltas de ortografía• Frases muy largas: hasta 11 renglones• Pensamiento telegráfico: párrafos con una sola frase• Mayúsculas pomposas• Uso de clichés: ej., “en base a”

Sería prudente eliminar las prisas• Dejarlo dormir un tiempo (ej. 1 semana)• Leerlo en voz alta


9/37

KISS: Keep It Short and Simple

Gracián: Lo bueno, si breve, dos veces bueno

BESO: Brevedad, Ecuanimidad, Simplicidad y Orden

OPERA: Only Planning Ensures Real Achievement

Obrando con Planificación Encontrarás ResultadosAdecuados

Reglas de redacción


10/37

Antecedentes: bibliografía

No todas aparecen citadas

No permiten la localización (faltan pág., o volumen,, etc.):

y para ello basta con, 1er

autor, rev., año, vol., 1ª pág.Ej.: Smith et al. Am J Public Health 1999;89:189.

Citas españolas aparecen en inglés, como tomadas de

PubMedSon antiguas: ¿% de citas que aparecen en los últimos 3-

4 años?

Evaluar los Antecedentes del ejemplo de proyecto


11/37








12/37

Hipótesis: errores frecuentes

Poner una hipótesis cuando no es necesaria: ejemplo, enlos estudios descriptivos.

La hipótesis no se deriva de los Antecedentes.

Se incorporan en el apartado elementos que no son

Hipótesis: por ej., nuevos hechos


13/37



• Antecedentes• Hipótesis

• Objetivos





14/37

Objetivos: errores frecuentes

No conectados con la hipótesis

No reflejan adecuadamente el título

Vaguedad y falta de concreciónIrrealizables: demasiado ambiciosos

Orden indebidoNo estar tratado en los Métodos

Evaluar los Objetivos del ejemplo de proyecto


15/37








16/37

Métodos

* No se especifica el tipo de diseño elegido* No se define el periodo de estudio

* En la selección de la población- No queda clara la población de referencia: a la que sepretende extrapolar los resultados del estudio.

- No se dan criterios de elegibilidad: la que reúne lascaracterísticas para que un sujeto pueda ser incluido en lainvestigación.- No se da el plan de muestreo para obtener la población de

estudio (los participantes), en caso de que fuera pertinente- Estimación del tamaño de la muestraNo se da, o no hay cálculo de potencia o las asunciones noson realistas


17/37

Métodos

* Si es un ensayo clínico: no se detalla la intervenciónNo se especifica la técnica de reparto de la misma, ni

quien la hace, ni si es oculta.* Recogida de información- Descripción incompleta de todos los datos (que se van aobtener). Quedan variables complejas (por ejemplo, clasesocial) sin definir operativamente. Definición de caso.- Reunión de la información: en el que no se especifican lasfuentes de procedencia y cómo se extraerán los datos deellas.No se adjunta un cuestionario de muestra, con su esquemade codificación, o el que se presenta está muy pocoelaborado.


18/37

Métodos

- Calidad de los datos (no se indica en ningún momento lacalidad de las mediciones se espera).

- Control de calidad de la información: no se indica enningún momento que se hará al respecto durante la recogidade información- Si es un ensayo clínico: no queda claro el ciego, ni como

se comprobará.* Análisis de los datos

- Demasido general: la ji-2 para categóricas y el análisis de

varianza para continuas.- No hacerlo por objetivos:- Olvidar aspectos esenciales de los análisis: como tratar laconfusión, reglas de predicción, etc.


19/37

Métodos* Interpretación de los resultados

- No hay valoración de la posible interferencia de sesgos yde las limitaciones del estudio.- No se discute la posibilidad de generalización de losresultados

• Ética• No hay consentimiento informado de participación• No hay aprobación de CEIC ó Comité de Ética• No se cita la declaración de Helsinki: www.wma.net• No se menciona la confidencialidad: ley de protección

de datos de 1999


20/37

E. de intervención: errores frecuentes

No describir el procedimiento de aleatorización

No garantizar la ocultación (concealment ) de la

aleatorizaciónNo asegurar el ciego

No describir bien la intervenciónNo describir bien el análisis estadístico

Problemas de ética


21/37

E. de cohortes: errores frecuentes

No determinar el tamaño de muestra o potenciaestadística

No describir el reclutamiento de la poblaciónNo establecer la secuencia de monitorizaciónAnálisis estadístico general y poco específico


22/37

E. de casos y controles: errores frecuentes

No garantizar el principio de misma base de casos ycontroles, sobre todo en los hospitalarios

Problema de precedencia temporal con muchasexposicionesMala delimitación de los sesgos que los amenazan

Errores en el análisis estadístico


23/37

Directrices publicadas

Revisión sistemática: QUOROM y MOOSEEnsayos clínicos: CONSORT

Pruebas diagnósticas: STARDEstudios de observación: STROBE

Factores pronósticos

Evaluar los Métodos del ejemplo de proyecto


24/37








25/37

Cronograma

Algunos desarrollan Métodos

No se dan los tiempos

¿Pilotaje?

¿Tiempo para completar la revisión bibliográfica al

principio del proyecto?Nunca se le ocurra dar en una figura la cronología delas actividades: puesto que así facilitará que sepan loque se quiere hacer


26/37

Reparto de tareas

Nº de investigadores acorde con la idea

Malo que todo lo haga un becario

Malo que los Investigadores tengan que aprender

Si algo es crucial, es mejor tener un Investigador


27/37




• Métodos• Cronograma y reparto de tareas

• Experiencia en el tema




28/37

Experiencia en el tema

• No hay que infravalorar este aspecto: si no hayexperiencia, puede peligrar

• Se valora y mucho logros previos en la misma línea• Podría aceptarse experiencia en campos

relacionados

• Complementariedad de los investigadores


29/37








30/37

Utilidad esperada

• Impacto potencial del resultado del proyecto: clínicoy bibliométrico

• No hay reglas para este apartado• Se le pretende dar cada vez más importancia:

evaluación estratégica

• Hay que “vender” bien el producto: la concurrenciaes competitiva


31/37

Plan de difusión

¿Adónde van los resultados?

• No se indicar las revistas

• No se detallan las sociedades científicasdestinatarias del mensaje y como se procederádentro de ellas

• No se menciona si el destinatario será laadministración sanitaria local, regional o nacional


32/37








33/37

Recursos disponibles

• Si no hay, significa la falta de compromiso de unainstitución con la investigación. MUY MALO

• Tiene que haber un punto de partida: lainvestigación no es “generación espontánea”


34/37





• Utilidad esperada. Plan de difusión• Recursos disponibles

• Recursos solicitados



35/37

Recursos solicitados

• No hay tamaño de muestra: ¿cuántos análisis serealizan?

• No se da el precio por unidad de análisis• Todo se subcontrata

• Viajes desmesurados

• Congresos desmedidos

• Dietas no ajustadas a lo establecido legalmente

• Presupuesto desmesurado, ya “recortarán” ellos.Esto está cambiando


36/37






•Curriculum vitae


37/37

CV

• No infravalorar: hay evaluadores que lo primero quehacen es leer el CV

• Se valora en conjunción con la envergadura de lapropuesta

• Las referencias deben permitir la localización

correcta de las mismas• No incluir “abstracts”: se notan

• Proyectos previos financiados

MMEIC_M6_evaluacion (1)

Documents

Transcript of MMEIC_M6_evaluacion (1)