Análisis de Altmetrics en artículos publicados por investigadores

peruanos en PLOSOneSeminario “Evaluación de la producción científica: un

enfoque bibliométrico”Carlos Quispe Gerónimo

http://carlosqg.infoPUCP, Lima, 07 de noviembre de 2013

Objetivos de la presentación

• Explorar los Alt-Metrics y su influencia en la evaluación de la investigación

• Conocer la naturaleza de un MegaJournalcomo PLosOne

• Analizar la productividad de autores peruanos en PLosOne

–Determinar si las descargas, menciones en redes sociales o comentarios tienen influencia en el impacto de un trabajo

El factor de impacto

Indicador más utilizado en los sistemas de evaluación

de la investigación científica

Mide el impacto de una revista científica en la comunidad científica

Mide la relación entre el número de citaciones que ha

recibido una revista por parte de otras revistas en un

período de 2 años en relación al número de

artículos producidos por la revista en el mismo período

de tiempo

Se sobreentiende que si un autor publica en una revista de

alto impacto es un autor relevante para una comunidad de investigación (efecto halo)

Sin embargo, la comunidad académica ha empezado a cuestionarla por…

Factor de impacto

Usar solo el FI para juzgar la calidad de

artículos o autores es peligroso.

El uso del FI crea un doble Efecto Mateo

El FI solo es aplicado para un pequeño grupo de revistas

Los FI no son reproducibles y no son

transparentesEl FI es afectado por la

mezcla de tipos de publicación en una

revista.

Coerción a autores para que citen a la

revista adonde envían sus trabajos

No hay una relación clara entre el número

de citaciones y la calidad del artículo.

El FI no facilita el trabajo

interdisciplinario y por ende lo desmotiva.

El cálculo del FI conlleva un período de entre 1.5

a 4.5 años

Entonces ¿qué hacer?

Jason Priem (2010) propone el uso de medidas alternativas al FI que midan esencialmente el trabajo de forma individual es decir que hayan métricas que midan a nivel cada trabajo (Alt-Metrics)

Declaración de DORA (Declaration of Research Assesment)

• General Recommendation• 1. Do not use journal-based

metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.

• Make available a range of article-level metrics to encourage a shift toward assessment based on the scientific content of an article rather than publication metrics of the journal in which it was published.

ANÁLISIS DE LA PRODUCTIVIDAD PERUANA EN PLosONE

Metodología

• Se hizo una búsqueda avanzada en PLosOne para filtrar a los investigadores que tuvieran filiación con una institución peruana.

• Para ello se emplearon las variables: author_affiliate:peru

• El análisis cubre desde el año 2006 hasta octubre de 2013.

• Con los resultados encontrados se muestra en primer lugar un análisis de la productividad.

Aporte de investigadores peruanos en PLosOne

• En total aparecen 139 artículos de investigación dentro de PLosONe.

• Hasta la fecha, este MegaJournal tiene publicados 75382 artículos

99.82%

0.18%

Artículos en PLosONE

Artículos Peruanos en PLosONE

Temas cubiertos por artículos en PLosONE

2

12

1

1

1

2

113

1

1

5

0 20 40 60 80 100 120

Agricultura

Biología

Ciencias de la computación

Ciencias forestales

Ciencias sociales

Ecología

Medicina

Minería

Química

Zoología

Temas cubiertos en PLosOne

Dentro del área médica que se investiga

2

3

1

3

1

2

1

2

9

3

1

2

1

8 8

1 1 1

2

1

8

1

3

5

12

2

1

4

1

14

9

0

2

4

6

8

10

12

14

16

Artículos por año de investigación

1

5

7

5

16

30

35

40

0

5

10

15

20

25

30

35

40

45

2006 2007 2008 2009 2010 2011 2012 2013

Artículos

Instituciones que publican en PLosONE

1%

12%

1%

7%

1%

6%

1%

53%

4%

5%

4%4%

1%

Empresa privada

Entidad estatal

Entidad estatal-Entidad internacional

Entidad internacional con sede en Perú

Entidad internacional-ONG

ONG

ONG-Entidad estatal

Universidad

Universidad-Entidad estatal

Universidad-Entidad internacional

Universidad-Entidad internacional-Entidad estatal

Universidad-ONG

Universidad-ONG-Entidad estatal

Análisis de Alt-Metrics de la Productividad Peruana en PLoS

Número de descargas

• Los 139 artículos de investigación han recibido 403847 vistas.

• En promedio cada artículo ha recibido 2905 vistas.

257090

5008250264

21333

0

50000

100000

150000

200000

250000

300000

HTML Page Views PDF Downloads

PLoSOne

PMC

Uso de recursos para compartir artículos

• Los servicios empleados para almacenar recursos son:Mendeley, CiteULike y Connotea.

97.72%

1.75% 0.53%

Mendeley

CiteULike

Connotea

Menciones en redes sociales

• En total, los 139 artículos han generado 7327 menciones en redes sociales

• Las redes sociales empleadas son: Facebook y Twitter

• Del mismo modo, se han generado discusiones en blogs y en Wikipedia

7106

184

27

10

0 2000 4000 6000 8000

Facebook

Twitter

Discusiones

Wikipedia

Impacto de trabajos: citaciones

• Los 139 artículos han recibido 755 citaciones

• En promedio, cada artículo ha recibido 5,43 citaciones

68%

32%

Trabajos con citaciones

Trabajos sin citaciones

Relación citaciones y descargas

65

36

2726

24

2120

1917 11

109 9 9

87 7 7 7 7

6 6 65 5 5 5

4 4 4 4 4 43 3 3

2 2 2 2 2 21 1 1 1 1 1 1 1 1 1 1 1

0

10

20

30

40

50

60

70

40

82

40

04

34

98

35

52

22

01

29

92

18

87

48

17

30

41

34

22

60

44

28

99

15

93

9

32

17

67

25

21

54

34

83

18

31

15

11

19

53

46

87

22

86

29

30

14

01

15

68

29

00

54

10

17

59

21

08

26

63

47

29

14

80

26

9

13

82

14

60

17

18

24

02

30

51

84

3

10

02

10

59

13

62

14

39

15

14

16

17

17

63

18

68

22

18

27

06

Artículo más citado: 65 citaciones

4082 descargas

Artículo con más vistas: 75639 vistas

9 citaciones

Conclusiones

• Para la muestra analizada no existe una relación entre el número de descargas y las citaciones recibidas por artículo.

• La Universidad Peruana Cayetano Heredia contribuye con el 57,6% de la productividad analizada

• La contribución peruana en PLoS One se centra especialmente en la medicina (81% de contribuciones).

• Las universidades deben apostar por el modelo de PLosOnepara aumentar su visibilidad en el mundo académico.

• Debería impulsarse la diseminación de artículos mediante Twitter.

• Debe reconocerse a los Alt-Metrics como parte de los sistemas de evaluación de la actividad científica.