Relevancia del factor de impacto y otras mediciones estandarizadas de revistas biomédicas en la...

Dr. Juan Carlos Munévar N. Od, MSc, D.E.A. Biólogo OralEspecialista en Bioética, Postgrado en Docencia Universitaria

Profesor Asociado. Instituto Unidad de Investigación Básica Oral. U.I.B.O. UNIVERSIDAD EL BOSQUE.

Relevancia del factor de impacto y otras mediciones estandarizadas de revistas biomédicas en la investigación

científica: su uso y mal uso.

• Generalidades.

• Evaluación del Factor de Impacto.

•Como verificar la validez del factor de impacto.

• Uso y mal uso del factor de Impacto.

• Conclusiones.

¡El reconocimiento obtenido por los esfuerzos en investigación es mínimo !

De otro modo, el proceso quedaría

inacabado!

EN CIENCIAS DE LA SALUD Y EN EL ÁREA BIOMÉDICA DEBEMOS ESTUDIAR, ANALIZAR CRÍTICAMENTE NUESTROS RESULTADOS, REFLEXIONAR ANTE NUESTROS FRACASOS Y GENERAR NUEVAS IDEAS. POR ESO DEBEMOS INVESTIGAR.

EL PRODUCTO FINAL DEL PROCESO CIENTIFICO ES NECESARIAMENTE LA PUBLICACION EN UNA REVISTA BIOMEDICA.

REFLEXIONES INICIALES

La humanidad a generado más información en los últimos 30 años que en los pasados 5000

Una edición normal de un día de semana del “The New York Times” contiene más información que la que oyó en toda su vida una persona promedio de la Inglaterra del siglo XVII

Se publican internacionalmente 1000 libros por día

El conocimiento impreso se duplica cada 8 años

El tiempo de duplicación en las publicaciones periódicas en medicina es de 19 años, el conocimiento médico aumenta cuatro veces durante el ejercicio profesional de un médico*

*Wyatt, J, Use and sources of medical knowledge. Lancet, 1991. 338(8779): p. 1368-73.

Agosto 2011 Juan Carlos Munévar N

REFLEXIONES INICIALES

Se publican cerca de 2 millones de artículos biomédicos anualmente**

Habría que leer 6000 artículos biomédicos por día para mantenerse al tanto de los avances de la medicina***

En la actualidad existen alrededor de 25.000 revistas médicas y se publican másde 2.000.000 de artículos por año, unos 2000/día. Por lo que se calcula que unmédico para poder leer todo lo que se publica en un año sobre su especialidadnecesitaría 19 horas diarias durante los 365 días del año.

**Arndt, KA, Information excess in medicine. Overview, relevance to dermatology, and strategies for coping. Arch Dermatol, 1992. 128(9): p. 1249-56***Lundberg, GD, 2nd, Perspective from the editor of JAMA, The Journal of the American Medical Association. Bull Med Libr Assoc, 1992. 80(2): p. 110-4


Las leyes de Murphy

La información que uno tiene no es la que uno quiere

La información que uno quiere no es la que uno necesita

La información que uno necesita no es la que puede obtener

La información que puede obtener es más cara de lo que uno quierepagar

“La frustración aparece cuando existe una gran cantidad de información, pero no nos brinda lo que necesitamos o queremos conocer”

Wurman, R., Facts. statistics and the anxiety syndrome. Lancet, 1991. 337: p. 37-38


http://www.ncbi.nlm.nih.gov/

¿Por qué buscar en PUBMED?

Contiene más de 12 millones de referencias a artículos de publicaciones periódicas de todo el mundo en el ámbito de la biomedicina.

Indiza citas desde 1966 a la fecha.

Citas de más de 4600 publicaciones periódicas en 30 idiomas

Cerca del 52% de las mismas fueron originalmente publicadas en EE.UU.

El 86% tiene como idioma de origen el inglés

El 76% de las citas posee resúmenes escritos por los autores.

Aproximadamente 8,000 referencias son ingresadas semanalmente a la base.


Antes de usar PubMed tenga en cuenta:

Estrategia de búsqueda

Aclaración del tema

¿Entiendo realmente lo que estoy buscando?

¿Conozco el significado exacto del tema?

Me aclaro el tema con un especialista en el área

No subestimar las guías, diccionarios y libros de referencia

Busca los términos más adecuado y autorizados

Hacer uso de tesauros y diccionarios tematicos




¿Que tipo de información necesito ?

Informes de Casos

Articulo de revisión

Artículo Histórico

Revisión Multicasual

Revisión de Casos Relatados

Artículo Clásico

Ensayo Clínico

Metaanálisis




¿En que idioma deseo la información?

Ingles

Alemán

Español

Ruso

Francés




Si aplicará, ¿Cuál es la edad del paciente?

Infantes: Nacimiento – 23 meses

Todos los niños: 0-18 años

Niños: 6 – 12 años

Niños preescolares: 2 – 5 años

Recién nacidos: nacimiento – 1 mes

Adolescentes: 13 – 18 años

Adultos: 19 – 44 años

Adulto medio: 45 – 64 años

Mayores: 65 -




¿Cómo quiero la información?

Solo abstracts

Solo textos completos

¿Estoy dispuesto a pagar?

Disponibles en la Biblioteca



¿QUE ES PUBMED?

PubMed es una base de datos desarrollada por la National Center for Biotechnology Information (NCBI) en la National Library of Medicine (NLM).

Permite el acceso a bases de datos bibliográficas compiladas por la NLM: MEDLINE, PreMEDLINE (citas enviadas por los editores), Genbak y Complete Genoma.

Medline contiene subbases de datos como: AIDS, Bioethics, Cancer, Complementary Medicine, Core Clinical Journals, Dental Journals, Nursing Journals, PubMed Central.

Por que no analizar los aportes originales de los artículos nacionales / regionales o comprobar el impacto que alcanzan en la comunidad científica?

Estimular con medidas efectivas y palpables la investigación y la publicación entre los odontólogos que aspiren a una carrera académica

• Sin suficiente rigor metodológico• Publican por presión asistencial.

• Publican por vanidad.

En Colombia, se subvalora el mérito científico de publicar en revistas

nacionales de prestigio.

Con frecuencia los investigadores clínicos son cuestionados y menospreciados

El factor de impacto se creo en la investigación biomédica para medir el valor de una revista

Pero es mal utilizada para juzgar la calidad de un investigador así como la calidad de su trabajo.

Se desarrollo inicialmente para ayudar a los bibliotecólogos a decidir a cuales revistas de

alta referenciación suscribirse

Calculando el promedio de referencias por articulo en un periodo de tiempo.

Journal Citation Reports (JCR) Science Citation Index (SCI)

Se generan fuentes de error y defectos, lo que resulta en fuertes sesgos contra la cultura y

el lenguaje medico y científico.

Citas que provienen de artículos cuyos autores son miembros de los propios comités editoriales

• En 9 de las revistas (35%), al menos el 25% de citas que componen el factor de impacto provienen de artículos con algún autor miembro del comité editorial.

• En 13 revistas el porcentaje es del 20% o más.

• En 10 de las 13 revistas anteriores, el 40% o más de las citas de editores proceden de artículos publicados en la propia revista (autocitas de revista).

26 revistas de psicología educativa

• Citas a artículos cuyos autores son miembros de los comités editoriales (citados)

• Espacio en una revista ocupado por artículos cuyos autores son miembros de los comités editoriales

http://science.thomsonreuters.com/

Institute for Scientific Information (ISI)

ISI Web of Knowledgesm es la plataforma integrada basada en la Web que ofrece a todos los profesionales de la investigación científica y académica la forma más sencilla de adquirir y administrar información sobre investigaciones en un único y práctico punto de acceso.

Herramientas y tecnologías sofisticadas que permiten a los usuarios obtener, analizar, y administrar con eficacia la información de investigaciones

El Instituto para la Informacion Cientifica (ISI) fue fundado por Eugene Garfield en 1960. Fue adquirido por Thomson Scientific & Healthcare en 1992, convirtiendose en Thomson ISI y ahora es parte del negocio de Thomson Reuters Corporation.

Contenido analítico: Los datos basados en las citas ayudan a los usuarios a analizar y evaluar la influencia científica y académica.

El contenido multidisciplinario proviene de publicaciones, actas de conferencias, patentes, reacciones y compuestos químicos y sitios Web internacionales, incluidos documentos individuales de esos sitios Web. (Web of Science, Current Contents Connect, ISI Proceedings, Derwent Innovations Indexsm)

ISI Web of Knowledge

Contenido complementario: Recursos especializados de prestigio obtenidos de sociedades con otros proveedores de información complementan el contenido principal de Thomson Scientific y garantizan una cobertura completa, facilidad de uso y diversidad de fuentes en cada disciplina.

Contenido externo: Consulta en recursos electrónicos de alta calidad disponibles de forma gratuita no incluidos en ISI Web of Knowledge pero importantes para los investigadores.

Contenido Web —Los documentos de la Web provienen de sitios Web evaluados de manera crítica y divididos en tres categorías: prepublicaciones, información de financiamiento y actividades de investigación

• Journal Citation Reports® on the Web• Essential Science Indicators®

http://science.thomsonreuters.com/es/productos/wok/

• Biological Abstracts®

• Zoological Record®

http://science.thomsonreuters.com/es/productos/wok/

Herramientas de Administración

ISI Web of Knowledge

Personalización: Los usuarios crean perfiles y contraseñas:

• Acceder a una lista de todas las búsquedas y alertas guardadas en todos los recursos de ISI Web of Knowledge.

• Crear una lista personal de publicaciones (Personal Journal List) que se exhibe en la página principal, junto a vínculos directos de la tabla de contenido de las publicaciones preferidas.

Alertas Opcionales: Los correos electrónicos de alerta mantienen a los investigadores al tanto con los últimos resultados de investigaciones.

Administración bibliográfica personalLos usuarios pueden exportar registros para crear un archivo personal de información. Este archivo es útil durante el proceso de escritura de artículos a través de la inclusión de bibliografías exactas y de formato perfecto en cientos de estilos. Entre las herramientas se incluyen EndNote®, ProCite®, Reference Manager®, y WriteNote®

ISI Web of Science (WoS)

Munévar J. Instituto Unidad de Investigación Básica Oral. U.I.B.O. Universidad El Bosque. 2011

La versión Web de las mejores bases de datos de citas del mundo; la cobertura de prestigiosas publicaciones la realizan Science Citation Index Expandedtm, Social Science Citation Index®, Arts & Humanities Citation Index®, y dos bases de datos adicionales que permiten a los usuarios combinar búsquedas de química con búsquedas generales: Current Chemical Reactions®e Index Chemicus®.

Búsqueda por referencias citadas: Para asegurar una búsqueda verdaderamente comprensiva.

Herramienta de análisis (analyze tool): Permite a los usuarios acotar las búsquedas al extraer datos de los resultados.

Un siglo completo de cobertura: Las investigaciones científicas del siglo XX de mayor influencia a nivel mundial ya están disponibles en la edición de Science Citation Index Expanded de Web of Science.

“Science Citation Index” (SCI) es una base de datos documental donde se recogen todas las contribuciones (artículos, editoriales, cartas, revisiones, discusiones, etc.) que se puedan publicar a las revistas de ciencia y tecnología indizadas por Thomson Reuters.

A este índice de citación también se le conoce como ISI ya que en un principio la institución que producía en índice era el Instituto para la Información Científica, Institute for Scientific Information (ISI)

Science Citation Index (SCI)

Publicar en una revista indexada por el ISI es valorado de manera muy positiva en las políticas de evaluación científica.

¿Qué es Journal Citation Reports?Journal Citation Reports (JCR) es una base de datos que ofrece una manera objetiva y sistemática para evaluar críticamente las revistas más importantes del mundo, con información cuantificable y estadísticas basadas en datos de citas.

Disponibles las ediciones de Ciencias y

Ciencias Sociales.

Al recopilar las referencias citadas de los artículos, JCR web ayuda a medir la influencia y el impacto de la investigación en la revista y en su categoría y muestra la relación entre las citas y las revistas citadas.

¿Qué contiene JCR?

JCR Science Edition contiene datos de unas 5.900 revistas de ciencia y tecnología

JCR Social Sciences Edition contiene datos de unas 1.700 revistas de ciencias sociales.

Los bibliotecarios pueden evaluar y documentar el valor de las inversiones en investigación de la biblioteca.

Los editores pueden determinar la influencia de las revistas en el mercado, para revisar las políticas editoriales y la dirección estratégica, supervisar a la competencia e identificar nuevas oportunidades.

Los autores y editores pueden identificar las revistas más apropiadas e influyentes en las que publicar

Los investigadores pueden descubrir dónde encontrar las novedades en sus respectivos campos.

Los analistas de la información pueden seguir tendencias y patrones de citas.

¿Por qué Journal Citation Reports? Ordena los datos de la revista por campos claramente

definidos: factor de impacto, índice de inmediatez, citas totales, artículos totales, vida media de las citas o título de la revista.

Ordena los datos de materia por campos claramente definidos: citas totales, factor de impacto medio, factor de impacto agregado, índice de inmediatez agregado, vida media de las citas agregadas, número de revistas por categoría, número de artículos por categoría

Muestra el factor de impacto de la revista con el gráfico de la tendencia de los últimos 5 años y por categorías.

Muestra como inciden las auto-citas de una revista en su factor de impacto.

Uso de Journal Citation Reports

Los datos de citaciones no deberían ser el único factor a tener en cuenta en las evaluaciones de revistas.

Hay que prestar atención a numerosos factores que pueden influir en el número de citas: idioma, historia y formato de la revista, calendario de publicación y especialidad.

El número de artículos listado en JCR incluye principalmente artículos de investigación y revisiones de artículos.

Editoriales, cartas, resúmenes de congresos, etc. no se incluyen en los contadores de artículos ya que generalmente no se citan. Las revistas publicadas en otro idioma diferente del inglés o en alfabeto no romano pueden ser menos accesibles a los investigadores de otros países, lo que puede influir en los patrones de citas.

Este factor debe tenerse en cuenta a la hora de hacer análisis comparativos de citas de revistas.

Búsquedas en JCR

Para realizar una búsqueda en JCR debo seleccionar, en primer lugar, la edición y el año que quiero consultar.

A continuación, una serie de opciones me permitirán adaptar la búsqueda y la visualización de resultados a mis necesidades específicas:

39

Búsquedas en JCR (2)

Búsqueda por categoría:

40


Búsqueda por categoría (datos de la revista):

41


Búsqueda por categoría (datos de la categoría):

42

La información que me muestra corresponde a la categoría seleccionada.


Búsqueda por revista:

43

Visualización de resultados (1)

44


• Total de citas: se refiere al número total de veces que cada revista ha sido citada por el resto de revistas incluidas en la base de datos y dentro del año actual.

• Factor de impacto: identifica la frecuencia con la que un artículo de una revista es citado en un año.

• Factor de impacto de los últimos 5 años: es el número medio de veces que los artículos de la revista publicados en los últimos 5 años han sido citados, en el año JCR. Este indicador se puede utilizar para calibrar mejor el impacto de las revistas en los campos donde la influencias de las investigaciones publicadas se desarrolla durante un largo período de tiempo.

• Índice de inmediatez: mide la frecuencia media con la que es citado un artículo de la revista el mismo año de su publicación. Útil para la evaluación de revistas que publican investigación de vanguardia.

• Artículos: número de artículos publicados en el año

• Vida media de las citas: da información de la edad de los artículos citados al mostrar el número de años a partir del año en curso que representan el 50% del total de citas a una revista en el año en curso. Este dato es útil en la gestión de la colección y en la toma de decisiones de archivo.

45

El listado de revistas aparece en este caso ordenado por títulos, vemos también información de ISSN y a continuación los datos analíticos:


• Eigenfactor™ Metrics: basado en JCR considera no sólo el número de citas que recibe una revista sino también la estructura de la red de citas como una manera de medir la influencia de las citas en la literatura de investigación. Están disponibles para el año 2007 y posteriores.

• Eigenfactor™ Score: la puntuación Eigenfactor se mide con las citas del año JCR actual a los artículos citables de los 5 años anteriores. Si bien el factor de impacto considera cada cita a una revista de la misma forma, la puntuación eigenfactor asigna un mayor peso a las citas procedentes de revistas influyentes. El nivel eigenfactor no tiene en cuenta las autocitas. La suma de las puntuaciones eigenfactor es 100, cada puntuación eigenfactor es un porcentaje de este total.

• Article Influence™ Score: la puntuación Article Influence mide la importancia relativa de la revista en función de cada artículo. Se calcula dividiendo la puntuación Eigenfactor entre el número de artículos publicados por la revista. Esta fracción se normaliza de modo que la suma total de los artículos de todas las revistas sea 1.

46

Información de la revista (1)Presionando sobre el hipervínculo del título, el sistema

me lleva a la pantalla de información de la revista:

47

Información de la revista (2)• Información de la revista:

– Título completo– Título abreviado ISO– Título abreviado JCR– ISSN– Números por año– Idioma– País (Journal country or territory)– Editor– Dirección del editor– Materias.

48

Posición de la revista en la categoría

Información de la revista (3)

49

Percentil 75

Percentil 25

Mediana del Factor de impacto

Valor medio

Valor máximo, no atípico

Valor mínimo, no atípico


• Scope note: nos lleva a la descripción de la categoría asignada y su contenido.• View Journal Summary list: nos lleva al listado de revistas• View category data: datos de la categoría como:

– Factor de impacto, índice de inmediatez, vida media de las citas, revistas, artículos– Gráfico de citas de la categoría– Frecuencia de publicación, etc…

50


51


52


53


54


55


56

Revistas seleccionadas

La posibilidad de marcar las revistas seleccionadas es útil si desea guardar los datos de la revista en un fichero o si desea imprimirlos.

1)Marque la casilla de la revista que desea seleccionar

2)Clique actualizar lista de revistas seleccionadas para enviar la selección a la página “Lista de revistas seleccionadas”.

Puede seleccionar hasta 500 revistas.

57

Lista de revistas seleccionadas

El Indice h

El índice h es un sistema propuesto por Jorge Hirsch, PhD, de la Universidad de California, para la medición de la calidad profesional de físicos y de otros científicos, en función de la cantidad de citas que han recibido sus artículos científicos.

Comparar el índice h de científicos que hayan vivido en épocas diferentes no tiene ningún sentido.

Un científico tiene índice h si ha publicado h trabajos con al menos h citas cada uno.

Sistema de la medición de la productividad de un científico.

Hirsch nos informa en Physics Today (Marzo 2011) que según el Institute for Scientific Information (ISI) el índice h de Albert Einstein es 50. Mucho más bajo que el 125 de Edward Witten, pero hay que recordar que Einstein publicó entre 1901 y 1955, y Witten publica desde 1976. Eran otros tiempos y se publicaba mucho menos que ahora. Por ejemplo, en los seis primeros meses de Physical Review en 1948 se publicaron 1.476 páginas, mientras que en los primeros 6 meses de 1998, Physical Review A-E tienen 39.141 páginas (muchos más artículos implica muchas más referencias).

CALCULO DEL INDICE SCIENTICOL

El Índice ScientiCol mide el grado de desarrollo alcanzado por un grupo de investigadores, en términos de los resultados alcanzados en el periodo de tiempo especificado para la medición.

El Índice ScientiCol se mide de la siguiente forma:

Producción de Nuevo Conocimiento: corresponde a las actividades de investigación de los grupos, las cuales presentan resultados novedosos en Ciencia y Tecnología. Producción de Alto Nivel: es el índice correspondiente a la producción de mayor relevancia en los campos científico o tecnológico. Formación de Nuevos Investigadores: es el índice que captura la actividad de formación de Recursos Humanos para la investigación, mediante tesis de maestría o doctorado y la participación del grupo en programas de maestría o doctorado. Divulgación de Resultados: es el índice de divulgación y socialización de resultados, a través de diversos medios tales como: eventos académicos, medios de comunicación; entre otros.

El escalafón de grupos colombianos de investigación en ciencia, tecnología e innovación consta de cinco categorías: A1, A, B, C y D . Se accede a cada categoría cumpliendo con los siguientes requisitos:

• Categoría A1: Tener un índice ScientiCol mayor o igual a 9.0 y al menos 5 años de existencia. • Categoría A: Tener un índice ScientiCol mayor o igual a 7.0 y al menos 5 años de existencia. • Categoría B: Tener un índice ScientiCol mayor o igual a 4.0 y al menos 3 años de existencia. • Categoría C: Tener un índice ScientiCol mayor o igual a 2.0 y al menos 2 años de existencia. • Categoría D: Tener un índice ScientiCol mayor a 0.0 y al menos 1 año de existencia.

Ventana de Observación: Se define como el intervalo de tiempo en que se contara la producción del grupo; la observación estará limitada a las actividades actuales o recientes del grupo, entendiéndose por reciente el período de los últimos 5 años, contados hacia atrás, a partir de 31 de diciembre del año anterior con respecto al año en que se realiza la convocatoria de medición de grupos.

CATEGORIAS DEL ESCALAFON SCIENTICOL

El factor de impacto de las revistas científicas es uno de los indicadores bibliométricos más utilizados.

EL FACTOR DE IMPACTO DE UNA REVISTA CIENTIFICA

Este indicador es una de las variables que más influye en la generación de nuevo conocimiento y en el desarrollo de la

investigación científica.

Los factores de impacto de las revistas

determinan, directa o indirectamente:

La asignación de millones de dólares en proyectos

de investigación, Promociones académicas, Complementos salariales,

etc.

Factor de Impacto

Evaluación de la producción científica, revistas, áreas e instituciones

Importancia para la promoción académica y asignación de fondos

El factor de impacto de una revista determinada se calcula cada año (por ejemplo, 2011) mediante un cociente:

FI (2011) = Citas en 2011 a documentos publicados en dicha revista en 2009 y 2010 Nº total de artículos publicados en esa misma revista en 2009 y 2010

http://www2.uah.es/jmc/

http://www2.uah.es/jmc/

http://www.sciencegateway.org/rank/index.html

Para evaluar su compromiso en la investigación

De acuerdo a la producción de publicaciones.

Uso y mal uso del Factor de Impacto

Actualmente el IF es el principal indicador dentro de la comunidad científica para evaluar las revistas científicas así como a los científicos

Los ministerios de Ciencia en Corea del Sur, China y Pakistán remuneran económicamente sus científicos si son capaces de publicar en revistas con alto factor de impacto como: Nature, Science, Cell.

En instituciones del mundo el FI acumulado de un profesor es el criterio mas importante

para su promoción.

Como la idea original sobre el análisis de referencias se desarrollo para proteger contra la referenciación no crítica de información

fraudulenta y/o controvertida

A menudo, las publicaciones en revistas cubiertas por el JCR se utilizan como único criterio de evaluación en lugar

de la cantidad de producción científica.

Munévar J. Instituto Unidad de Investigación Básica Oral. U.I.B.O. Universidad El Bosque. 2011

La utilidad del FI es cuestionada

¡Representa popularidad en vez

de prestigio!

Rey Rocha y col, Nature. 1999, demostraron discrepancias en el IF entre científicos o grupos de investigación de países que hablan y

no hablan inglés.

En la mayoría de países que no hablan inglés , la investigación no se

publica en revistas de alto IF

A veces es motivo de vergüenza para los científicos de esos países, pues sus revistas no aparecen indizados por el

Science Citation Index (SCI)

Las publicaciones científicas en revistas en español no están incluidas en SCI.

La comunidad científica persiste en emplear el IF para juzgar la calidad de

un investigador.

El factor de impacto no refleja la importancia de un artículo individual y además podría no definir y analizar la calidad de la contribución de un autor individual en dicho artículoEl creador del IF, Eugene Garfield nunca predijo que este sería utilizado en la comunidad científica como un criterio para juzgar la calidad de un científico y determinar la adjudicación de recursos financieros a la investigación

Su valor inicial fue para la administración de las colecciones de revistas en bibliotecas

• No existen parámetros específicamente diseñados para interpretar el IF

El IF es a menudo usado equívocamente.

Eugene Garfield. PhD.http://www.garfield.library.upenn.edu/

El factor de impacto es empleado para hacer comparaciones defectuosas entre las revistas académicas y científicas.

Su valor inicial fue para la administración de las colecciones de revistas en bibliotecas.

El mal uso de IF es un problema común en el área de la investigación, y los académicos se han quejado de esto desde hace tiempo.

http://www.garfield.library.upenn.edu/

Relevancia del factor de impacto y otras mediciones estandarizadas de revistas biomédicas en la...

Education

Transcript of Relevancia del factor de impacto y otras mediciones estandarizadas de revistas biomédicas en la...