La bibliometría en la evaluación de resultados de la investigación
-
Upload
torres-salinas -
Category
Technology
-
view
3.623 -
download
1
description
Transcript of La bibliometría en la evaluación de resultados de la investigación
La Bibliometría en la evaluación de resultados de la investigación
Daniel torres salinas
Máster en Dirección y Gestión de la I+D +I en Ciencias de la Salud
Madrid 8 de Julio de 2011
0. INTRODUCCIÓN Y RECURSOS RECOMENDADOS
Contenidos y características del curso
• Objetivos del curso:Conseguir que en 150 minutos seamos capaces de aprender que es la bibliometría, cuales son sus indicadores clave y aprender prácticamente a calcularlos en la Web of Knowledge.
• Contenidos del curso: Introducción teórica a la bibliometria, para qué sirve, set básico de indicadores, la Web of Science. Práctica: calculando indicadores a partir de la Web of Knowledge
• Fecha y duración:8 de Julio, 16 horas; 3 horas (con 30 minutos de descanso)
• Profesor:Daniel Torres-Salinas (GIEC3 – Univ. Navarra) [email protected]
Recursos básicos: monografías
• Maltrás Barba, Bruno. Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón, Trea, 2003
• Moed, Henk F. Citation analysis in research evaluation. Kluwer Academic, 2005
• Vinkler, Peter. Evaluation of research byscientometrics indicators. Oxford Publishing, 2010
Recursos básicos: miscelánea
• Boletines y sites Research Trends de ElsevierScienceWatch de Thomson Reuters
• BlogsBibliometría de Álvaro RoldánEc3noticias del Grupo de Investigación EC3
• Revistas científicasScientometricsRevista Española Documentación Científica
• Redes SocialesHashtag #GIEC3
1. TEORÍA. CUESTIONES BÁSICAS A TENER EN CUENTA
Porque la mayor de las políticas científicas y la evaluación del rendimiento científico a nivel
individual se articulan en torno a bases de datos y productos de evaluación basados en la bibliometria
CNEAI
¿Por qué es necesario estar familiarizado con la
bibliometría? (1/3)
El rendimiento en centros I+D se suele comparar a partir de rankings basados en indicadores bibliométricos
¿Por qué es necesario estar familiarizado con la
bibliometría? (2/3)
Convocatoria Centros de Excelencia Severo Ochoa
Convocatoria Programa Nacional Contratación RRHH I+D
Gran parte de los recursos se asignan en la actualidad teniendo en cuenta o con un peso importante de los
indicadores bibliométricos logrados.
¿Por qué es necesario estar familiarizado con la
bibliometría? (3/3)
El lugar de la bibliometria en la investigación
biomédica y los objetivos de la sociedad
Por tanto la bibliometría es una herramienta de
diagnóstico
Presupuestos para realizar evaluaciones basadas
en indicadores bibliométricos
Los resultados investigación se manifiestan a
través de publicaciones
científicas.
Al contar publicaciones se
asume que todas ellas
portan la misma cantidad de
conocimiento científico
certificado.
Todos los firmantes de un
trabajo son responsables de la investigación expuesta y han contribuido de igual manera a
la misma.
Las citas son una medida
fiable y válida de la
repercusión de los trabajos
Nivel de análisis o agregación
• Es la base de datos de referencia internacional para estudios bibliométricos
• Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000)
• La selección de las revistas se basa en la ley de Bradford y laempresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencial
• La cobertura de las revistas es cover to cover y recoge las citas de todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llega hasta 1900.
• Ofrece un variado conjunto de indicadores bibliométricos “precocinados”
MACRO
• AGREGADO: países
• FIABILIDAD: Máxima
MESO
• AGREGADO: regiones, instituciones, áreas
• FIABILIDAD: Moderada
MICRO
• AGREGADO: personas, grupos, secciones
• FIABILIDAD: Lectura con precauciones
Los métodos de recuento de las publicaciones
• A cada coautor se le da asigna igual el trabajo publicado.
Total
• Se divide el trabajo entre el número de coautores
Completo
• Todo el trabajo se asigna únicamente al primer autor
1º Autor
• Se le da más peso al primer autor que al resto.
1º Autor +
• Fracción decreciente según orden de firma.
Decreciente
Diferentes comportamientos según disciplina (1/2)
Ritmos de envejecimiento y citación diferentes: ejm VIDA MEDIA
CLINICAL NEUROPSYCHOL.
Vida Media9 años
GENOMERESEARCH
Vida Media5 años
Fuente:JCR 2010 ed.
Diferentes comportamientos según disciplina (2/2)
Volúmenes y promedios de citas diferentes
Datos: España | Categorías JCR | Período 2001-2010
Los indicadores bibliométricos son asimétricos
Seglen, P. The Skeeness of science. Journal of the American Society forInformation Science and Technology. V. 43, N. 9, pp. 628–638, 1992
2. LA FUENTE DE DATOS:WEB OF KNOWLEDGE
Introducción mínima a la Web of Knowledge
WEB OF SCIENCE (WOS):
aglutina 3 índices de citas
SCI
Science Citation
Index(7858
revistas)
SSCI
Social Science Citation
Index(2553
revistas)
A&HCI
Art & Humaniti. Citation
Index(1462
revistas)
PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA:
JCR
Journal Citation Reports
ESIEssential Science
Indicators
La Web of Knowledge, nuestra fuente de datos
Science Watch
A PARTIR DE ESTAS BASES DE DATOS THOMSON ELABORA OTROS PRODUCTOS
BIBLIOMÉTRICOS:
Los productos derivados de la Web of Science
Jou
rnal
Cit
atio
n R
ep
ort
s • Tiene solo dos ediciones de Ciencias y de Ciencias Sociales
• Se calculan para un total de 8200 revistas diferentes
• Las revistas están clasificadas en un total de 235 categorías científicas
• En la web tenemos impactos disponibles desde 1996.
Esse
nti
al S
cie
nce
Ind
icat
ors • Contiene datos
sobre instituciones, países, disciplinas
• Podemos localizar los artículos , los investigadores y los frentes más citados
• Contiene Baselines que nos permite contextualizar la información bibliométrica
Scie
nce
Wat
ch • Es una web gratuita donde podemos encontrar análisis específicas
• Se analizan desde investigadores , revistas hasta áreas y países
• Enriquecen la información bibliométrica con entrevistas, fotos, comentarios, gráficos, etc..
DIAN
s
Web of Science
(SCI, SSCI, AHCI)
Revistas
Científicas
(importantes)
Todas las
Revistas
Científicas
Web of Science, una selección de las mejores revistas
DIAN
s
¿Qué tal es su cobertura en Ciencias de la Salud?
Cobertura WoS de las principales áreas y su adecuación como fuente de evaluación
> 80%
Biología Molecular y bioquímica
Ciencias Biológicas (humanos)
Medicina Clínica
Física y Astronomía
Química
60-80%
Física aplicada y química
Ciencias Biológicas (animales y plantas)
Psicología y Psiquiatría
Ciencias Sociales relacionadas con Medicina
Geociencias
40-60%
Matemáticas
Ingeniería
Economía
<40%
Otras Ciencias Sociales
Arte y Humanides
EXCELENTE MUY BUENA BUENA-MODERADA
Moed, 2005
DIAN
s
El interfaz de consulta de la ISI WOK
WEB
OF
SCIE
NC
EO
TRO
S R
ECU
RSO
S
3. LOS INDICADORES BIBLIOMÉTRICOS
s
PRODUCCIÓN IMPACTO
COLABORACIÓNNUEVOS
INDICADORES
Indicadores
Bibliométricos
Tipos de indicadores bibliométricos
s
Producción
• Nº Total documentos
• Nº Total documentos citables
• Nº de documentos por investigador
• Nº de documentos según posición firma (inicial o final etc.)
• Índice de Especialización Temática
• Índice de Actividad temática
Impacto
• Promedio y suma del Impacto Factor
• Factor de Impacto de relativo
• Nº o % de documentos por cuartil (o bien decil y tercil)
• Promedio de citas
• Número de citas
• Tasa Autocitación
• Citas normalizadas: Crown Indicator, Karolinska
• Índice H y derivados
Colaboración
• Tasas de colaboración
• Índice de coautoría general
• Índice de coautoría institucional
• Análisis de Redes Sociales a partir firma de la firma
• Número de Instituciones firmantes
• Patrones de colaboración (interna, nacional, internacionales)
Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos
* Habría que incluir los derivados de la combinación de este con los RRHH y económicos.
Ejemplos de indicadores bibliométricos habituales
Indicadores recomendados
Nº Doc
(cit.)
Nº docs en 1º Cuartil
Nº o
Prom citas
H-INDEX
PRODUCCIÓNCIENTÍFICA
IMPACTO ESPERADO
IMPACTO OBSERVADO
COLABORACÍÓN
Ejemplos: Nº docs Citables
Evolución de la producción citable de la Universidad de Navarra
Ejemplos: Índice Actividad Temática
IAT de la Universidad Navarra comparado con España. 2005-2009
% España (E): 0,17% Univ Navarra (N): 0,50
IAT: 0,50/0,17 = 2,94
Ejemplos: % Docs en el 1º Cuartil
% de docs en el 1º Cuartil por área para España. 2005-2009
OJO Con los indicadores basados en el IF: son promedios | el impacto de una revista no equivale al impacto de un artículo | No es un valor comparable por área | Fácil de
manipular | Presenta problemas en el cálculo | Es un indicador de Competitividad
Ejemplos: Promedio de Citas
Nº y Promedio de Citas de la Universidad de Navarra comparado con otras universidades españolas. 2005-2009
OJO Los promedios se citas por sí solos tienen poco significado siempre es preferible tener algunos promedios de referencia como el del área o el páis
Ejemplos: Nº Docs. Citables VERSUS
Promedio de citas
Nº Docs Citables y Promedio de Citas de las universidades españolas en Medicina Clínica y Farmacia.
Ejemplos: el indicador CROWN
CROWN INDICATOR del CITIC-UGR de la Universidad de Granada para el período 2001-2010
Tomamos como referencia los promedios de citas del área de Ingeniería disponible en los ESI
Ejemplos: El índice-H
Índice H para diferentes hospitales españolas con diferentes cortes cronológicos
OJO El H-Index no sirve entre áreas diferentes | Favorece a los seniors | No elimina autocitas | Penaliza a los autores selectivos
Ejemplos: % Colaboración Inter.
% de documentos firmados con instituciones extranjeras por la Universidad de Navarra
Estrategia para evaluar un centro
Moed 2011
Todas las evaluaciones son multimensionales y así hay plantearlas
Estrategia para evaluar un centro
Ejemplo de Evaluación de un centro
Vinkler2010
Es importante contar con cuadros de
mando
Cuadro de mando empleado en la UNAV (software: CIENTIFICA)
4. PRÁCTICAS BÁSICAS
NOTA: Con las consultas directas en Web of Science que veremos enéstas prácticas nos podemos aproximar a la producción de un centro,investigador etc.… pero no se consiguen resultados exactos(necesarios para la toma de decisiones) ya que existen numerososproblemas de normalización de los nombres de autores einstituciones. En esta práctica mencionaremos dichos problemasaunque no profundizaremos sobre los mismos.
Práctica 1
CALCULAR EL Nº DE DOCUMENTOS CITABLES DE CIBERNED DURANTE EL PERÍODO 2007-2010
Práctica 1. Nº de Citables de CIBERNED
1. Realiza la búsqueda en el menú principal
2. Filtra en el menú de la derecha las tipologías documentales citables
3. Filtra en el menú de la derecha por años
Práctica 2
CALCULAR LAS ÁREAS DE ESPECIALIZACIÓN DE CIBERNED Y VER CUANTOS CITABLES TIENE EN CADA UNA DE ELLAS Y ESPECÍFICAMENTE EN
“NEUROSCIENCE”. 2007-2010
Práctica 2. Nº Citables de CIBERNED en la
categoría de “Neurosciences”
Con la búsqueda anterior
1. En la zona izquierda selecciona la opción “Analyze Results” y en la siguiente pantalla selecciona “subject área” y pincha en “Analyze”
2. Resultado
Práctica 3
CALCULAR CUANTOS Y QUE PORCENTAJE DE DOCUMENTOS CITABLES APORTA CIBERNED A LA
PRODUCCIÓN CIENTÍFICA DE ESPAÑA EN LA CATEGORÍA “NEUROSCIENCES”. 2007-2010
Práctica 3. Aportación a España en
“Neuroscience” de CIBERNED
1. Vuelve al menú de búsqueda y busca la producción española global
2. Selecciona como anteriormente solo los documentos citables
3. Analiza resultados por área (subject) y filtra por “Neuroscience”
Producción Citables en
“Neurosciences de CIBERNED”
= 245
Producción Citables en
“Neurosciences de España”
= 2016
12%
Práctica 4
INDENTIFICAR CUAL ES LA REVISTA CIENTÍFICA DONDE TIENE MÁS PUBLICACIONES EL
CIBERNED. UNA VEZ IDENTIFICADA CONSULTAR SU IMPACT FACTOR Y EL CUARTIL EN EL QUE SE
SITÚA.
Práctica 4. Revista donde más publica
CIBERNED. Factor de impacto y cuartil
1. Vuelve a la búsqueda original
2. Analiza o filtra por revista (source title)
4. Ve a “additional Resources” y selecciona el JCR
5. Busca la revista y mira su IF y el cuartil para la 2010 ed
Práctica 5
IDENTIFICA LAS REVISTAS CON MAYOR IMPACTO Y QUE PUEDEN SER OBJETIVO DE CIBERNED
Práctica 5. Consultar JCR por categoría
1. Identifica como anteriormente las áreas donde publica el centro
2. Acude al JCR y consulta para su ed. De 2010 las revistas con mayor impacto en “Neurosciences”, “Clinical Neurology” y “Biochemistry & Molecular Biology”.
Práctica 6
CALCULA CUAL ES EL PROMEDIO Y EL NÚMERO DE CITAS DE CIBERNED. 2007-2010
Práctica 6. Obtener para CIBERNED, Número
de Citas y Promedio
1. Vuelve a la búsqueda original
2. Selecciona en la zona derecha la opción “Create Citation Report”
3. Puedes obtener los indicadores en el informe generado
Práctica 7
CALCULA EL CROWN INDICADOR (SEGÚN ESTÁNDAR DEL CWTS) PARA CIBERNED
TENIENDO EN CUENTA LA CATEGORÍA MUNDIAL “ ESI” NEUROSCIENCE. 2007-2010
Práctica 7. Introducción al cálculo del CROWN
PASO 1. Obtener unos valores de referencia (mundiales, país, región, …)
PASO 2. Obtenemos el número de citas de la unidad (persona, centro, etc..) que estamos evaluando.
Práctica 7. Introducción al cálculo del CROWN
PASO 4. Vemos que valor debería haber alcanzado según la tabla de referencia del Paso 1 (respetar área , año de publicación y tipo doc.)
PASO 3. Clasificamos esos trabajos según el área de publicación
Práctica 7. Introducción al cálculo del CROWN
Finalmente dividimos las
citas alcanzadas entre las citas teóricas
CROWN = 1,7
Práctica 7. Cálculo CROWN para CIBERNED
2. Buscamos la tabla de referencia de promedio de citas de“Neuroscience”* en ESI
*Asumimos para agilizar la práctica que todos los trabajos pertenecen al área de Neuroscience
1. A partir del “Citation Reports” y año por año preparamos una tabla con el número de trabajos citables y el número de citas
Práctica 7. Cálculo CROWN para CIBERNED
3. Añadimos columna con las citas que se esperan para un trabajo de neuroscience
4. Calculamos el global de citas que se esperaban para nuestro centro multiplicando las columnas A por C
Práctica 7. Cálculo CROWN para CIBERNED
4. Finalmente calculamos el CROWN dividiendo las citas alcanzada entre las citas esperadas , esto es dividir B entre D
Author=(PALACIOS JM) AND Address=(AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*) NOT (POLITECN AND MADRID)))
Práctica 8
CÁLCULA EL ÍNDICE H DE CAMINS A (PROGRAMA 1) Y COMPARALO CON EL DE PALACIOS
SATIBAÑEZ JL Y PUELLES JL
Author=(PALACIOS JM)
Práctica 8. Cálculo del índice H
Author=(PALACIOS JM) AND Address=((AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*)
NOT (POLITECN AND MADRID))))
Author=(CAMINS A) Author=(PUELLES L)
PUELLES LOPEZ, LUIS PALACIOS SANTIBAÑEZ, JOSE MCAMINS, ANTONIO
1. Has las búsquedas para cada autor y utiliza “Citation Reports” para conocer el H
Author=(PALACIOS JM) AND Address=(AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*) NOT (POLITECN AND MADRID)))
Práctica 9
IDENTIFICA LOS TRES TRABAJOS MÁS CITADOS DE CIBERNED. CONTEXTUALIZA LAS CITAS A
NIVEL MUNDIAL Y NIVEL NACIONAL
Author=(PALACIOS JM)
Práctica 9. Trabajos a nivel internacional
1. Busca la producción de CIBERNED; en resultados ordena según el número de citas
Viendo como un trabajo se sitúa a nivel internacional
Author=(PALACIOS JM)
Práctica 9. Trabajos a nivel internacional
2. Ve a los ESI y busca la tabla de percentiles de Neuroscience
3. Mira donde se situaría cada trabajo
TRABAJO 1. Autophagy (2008) con 489 citas se sitúa en el 0,01% mundial de los más citados
TRABAJO 2. Nature Genetics (2009) con 200 citas se sitúa en el 0,10% mundial de los más citados
TRABAJO 2. Lancet Neurology (2008) con 124 citas se sitúa en el 1,00 % mundial de los más citados
Author=(PALACIOS JM)
Práctica 9. Trabajos a nivel nacional
2. Busca la producción científica española en 2008 (año de publicación del trabajo)
1. Coge el trabajo más citado e identifica en qué área se ha publicado
Viendo como un trabajo se sitúa a nivel nacional
Author=(PALACIOS JM)
Práctica 9. Trabajos a nivel nacional
3. A través de la opción analyze quédate solo con los trabajos publicados en CELL BIOLOGY (Categoría donde se publicó el trabajo)
4. Ordena los resultados (producción de España en CELL BIOLOGY en el año 2008)
El trabajo es el número 1 !!
Author=(PALACIOS JM) AND Address=(AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*) NOT (POLITECN AND MADRID)))
Práctica 10
CÁLCULA EL NÚMERO Y PORCENTAJE DE TRABAJOS FIRMADOS A NIVEL INTERNACIONAL.
2007-2010
Author=(PALACIOS JM)
Práctica 10. Colaboración internacional
1. Volver a la búsqueda de 443 y en “analyze results” seleccionar countries; una vez que tengamos el lista seleccionar todos los países menos España y View Records
2. Una vez que tenemos los registros ver cuantos se han publicado por año y calcular %
Daniel torres [email protected]