Post on 04-Jul-2015
description
Análisis de Altmetrics en artículos publicados por investigadores
peruanos en PLOSOneSeminario “Evaluación de la producción científica: un
enfoque bibliométrico”Carlos Quispe Gerónimo
http://carlosqg.infoPUCP, Lima, 07 de noviembre de 2013
Objetivos de la presentación
• Explorar los Alt-Metrics y su influencia en la evaluación de la investigación
• Conocer la naturaleza de un MegaJournalcomo PLosOne
• Analizar la productividad de autores peruanos en PLosOne
–Determinar si las descargas, menciones en redes sociales o comentarios tienen influencia en el impacto de un trabajo
El factor de impacto
Indicador más utilizado en los sistemas de evaluación
de la investigación científica
Mide el impacto de una revista científica en la comunidad científica
Mide la relación entre el número de citaciones que ha
recibido una revista por parte de otras revistas en un
período de 2 años en relación al número de
artículos producidos por la revista en el mismo período
de tiempo
Se sobreentiende que si un autor publica en una revista de
alto impacto es un autor relevante para una comunidad de investigación (efecto halo)
Sin embargo, la comunidad académica ha empezado a cuestionarla por…
Factor de impacto
Usar solo el FI para juzgar la calidad de
artículos o autores es peligroso.
El uso del FI crea un doble Efecto Mateo
El FI solo es aplicado para un pequeño grupo de revistas
Los FI no son reproducibles y no son
transparentesEl FI es afectado por la
mezcla de tipos de publicación en una
revista.
Coerción a autores para que citen a la
revista adonde envían sus trabajos
No hay una relación clara entre el número
de citaciones y la calidad del artículo.
El FI no facilita el trabajo
interdisciplinario y por ende lo desmotiva.
El cálculo del FI conlleva un período de entre 1.5
a 4.5 años
Entonces ¿qué hacer?
Jason Priem (2010) propone el uso de medidas alternativas al FI que midan esencialmente el trabajo de forma individual es decir que hayan métricas que midan a nivel cada trabajo (Alt-Metrics)
Declaración de DORA (Declaration of Research Assesment)
• General Recommendation• 1. Do not use journal-based
metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.
• Make available a range of article-level metrics to encourage a shift toward assessment based on the scientific content of an article rather than publication metrics of the journal in which it was published.
ANÁLISIS DE LA PRODUCTIVIDAD PERUANA EN PLosONE
Metodología
• Se hizo una búsqueda avanzada en PLosOne para filtrar a los investigadores que tuvieran filiación con una institución peruana.
• Para ello se emplearon las variables: author_affiliate:peru
• El análisis cubre desde el año 2006 hasta octubre de 2013.
• Con los resultados encontrados se muestra en primer lugar un análisis de la productividad.
Aporte de investigadores peruanos en PLosOne
• En total aparecen 139 artículos de investigación dentro de PLosONe.
• Hasta la fecha, este MegaJournal tiene publicados 75382 artículos
99.82%
0.18%
Artículos en PLosONE
Artículos Peruanos en PLosONE
Temas cubiertos por artículos en PLosONE
2
12
1
1
1
2
113
1
1
5
0 20 40 60 80 100 120
Agricultura
Biología
Ciencias de la computación
Ciencias forestales
Ciencias sociales
Ecología
Medicina
Minería
Química
Zoología
Temas cubiertos en PLosOne
Dentro del área médica que se investiga
2
3
1
3
1
2
1
2
9
3
1
2
1
8 8
1 1 1
2
1
8
1
3
5
12
2
1
4
1
14
9
0
2
4
6
8
10
12
14
16
Artículos por año de investigación
1
5
7
5
16
30
35
40
0
5
10
15
20
25
30
35
40
45
2006 2007 2008 2009 2010 2011 2012 2013
Artículos
Instituciones que publican en PLosONE
1%
12%
1%
7%
1%
6%
1%
53%
4%
5%
4%4%
1%
Empresa privada
Entidad estatal
Entidad estatal-Entidad internacional
Entidad internacional con sede en Perú
Entidad internacional-ONG
ONG
ONG-Entidad estatal
Universidad
Universidad-Entidad estatal
Universidad-Entidad internacional
Universidad-Entidad internacional-Entidad estatal
Universidad-ONG
Universidad-ONG-Entidad estatal
Análisis de Alt-Metrics de la Productividad Peruana en PLoS
Número de descargas
• Los 139 artículos de investigación han recibido 403847 vistas.
• En promedio cada artículo ha recibido 2905 vistas.
257090
5008250264
21333
0
50000
100000
150000
200000
250000
300000
HTML Page Views PDF Downloads
PLoSOne
PMC
Uso de recursos para compartir artículos
• Los servicios empleados para almacenar recursos son:Mendeley, CiteULike y Connotea.
97.72%
1.75% 0.53%
Mendeley
CiteULike
Connotea
Menciones en redes sociales
• En total, los 139 artículos han generado 7327 menciones en redes sociales
• Las redes sociales empleadas son: Facebook y Twitter
• Del mismo modo, se han generado discusiones en blogs y en Wikipedia
7106
184
27
10
0 2000 4000 6000 8000
Discusiones
Wikipedia
Impacto de trabajos: citaciones
• Los 139 artículos han recibido 755 citaciones
• En promedio, cada artículo ha recibido 5,43 citaciones
68%
32%
Trabajos con citaciones
Trabajos sin citaciones
Relación citaciones y descargas
65
36
2726
24
2120
1917 11
109 9 9
87 7 7 7 7
6 6 65 5 5 5
4 4 4 4 4 43 3 3
2 2 2 2 2 21 1 1 1 1 1 1 1 1 1 1 1
0
10
20
30
40
50
60
70
40
82
40
04
34
98
35
52
22
01
29
92
18
87
48
17
30
41
34
22
60
44
28
99
15
93
9
32
17
67
25
21
54
34
83
18
31
15
11
19
53
46
87
22
86
29
30
14
01
15
68
29
00
54
10
17
59
21
08
26
63
47
29
14
80
26
9
13
82
14
60
17
18
24
02
30
51
84
3
10
02
10
59
13
62
14
39
15
14
16
17
17
63
18
68
22
18
27
06
Artículo más citado: 65 citaciones
4082 descargas
Artículo con más vistas: 75639 vistas
9 citaciones
Conclusiones
• Para la muestra analizada no existe una relación entre el número de descargas y las citaciones recibidas por artículo.
• La Universidad Peruana Cayetano Heredia contribuye con el 57,6% de la productividad analizada
• La contribución peruana en PLoS One se centra especialmente en la medicina (81% de contribuciones).
• Las universidades deben apostar por el modelo de PLosOnepara aumentar su visibilidad en el mundo académico.
• Debería impulsarse la diseminación de artículos mediante Twitter.
• Debe reconocerse a los Alt-Metrics como parte de los sistemas de evaluación de la actividad científica.