Gestión de la identidad y reputación digital del investigador

de las métricas alternativas a la gestión de datos de investigación

Julio Alonso Arévalo

Universidad de Salamanca

Facultad de Traducción y Documentación

alar@usal.es

TITULO"Gestión de la identidad y reputación digital del investigador: de las métricas alternativas a la

gestión de datos de investigación

LUGAR Universitat Jaume I (Castellón de la Plana) del

lunes, 9 de enero 11,30 h de 2017 en el Salón de Actos del edificio del centro de postgrado

http://alturl.com/e78sg

Me presento…

Julio Alonso Arévalo

Bibliotecario de la Facultad de Traducción y Doc. de la USAL

Miembro del Grupo de Investigación E-LECTRA

Premio Nacional de Investigación por la UNE

Creador y editor del repositorio OA – E-LIS

80 artículos científicos en revistas

11 libros publicados

Más de 1000 citas en Google Schoolar

Creador y gestor del blog Universo abierto

Director del programa de Radio Planeta Biblioteca

2ª ed.

3ª ed. 2ª ed.

https://scholar.google.com/citations?user=i-t5eX4AAAAJ

Una recomendación

Evaluación de la Investigación Científica (3560 miembros)

https://www.facebook.com/groups/351683134853230/

Grupo para compartir información sobre los sistemas, acreditación y procesos de evaluación científica. Os rogamos que las intervenciones en el mismo se adecúen a estos principios

Ecosistema Digital

“Los medios sociales no son una moda, son un cambio fundamental en la forma en que nos comunicamos.”

Eric Qualman

Un nuevo ecosistema informativo

….. reposicionamiento de todos los elementos

HUELLA DIGITAL vs REPUTACIÓN DIGITAL

Reputación digital

Subjetiva y fluctuante

vigilar rigurosamente los perímetros de tu identidad

Se necesita establecerla y construirla.

Cultivar la reputación digital

ESTRATEGIAS

Identidad digital

Supone una excelente oportunidad para el autor, al cual le garantiza una alta visibilidad de su producción y por lo tanto un alto

reconocimiento profesional

La reputación científica es esencial para los investigadores, contribuye a su

progreso, reconocimiento, obtención de subvenciones y de becas de

investigación

Saber qué estrategias de identidad escoger

Van Noorden, R.. (2014). Online collaboration: Scientists and the social network. Nature, 512(7513), 126-129. doi: 10.1038/512126a

El 75% de los investigadores inician su investigación desde Google

APERTURA

INTERCONEXION DE SISTEMAS DATOS VINCULADOS

J6

Diapositiva 25

J6 Importante avance en la creación de enlaces persistentes e identificadores de objetos digitales (DOIs) que permiten la interconexión de datos específicos que facilita el descubrimiento y la reutilizaciónJulio; 01/05/2016

FLEXIBILIDAD

Evaluación editorialvs.

Evaluación científica(Acreditación)

Evaluación editorial

Peer Review. Revisión por pares por Rafael Repiso

SIN CONSENSO

Opaco

RECHAZO

Revista depredadoras

Jefrey Beall

+ Abierto +Transparente

Aspectos a tener en cuenta

1. La manera en que los árbitros reciben reconocimiento y recompensa por su trabajo y, en caso afirmativo, en qué forma;

2. Debe considerar que estos informes se hagan de manera pública o cerrada;

3. Los pares deben permanecer en el anonimato o firmar sus informes;

4. la revisión por pares debe hacerse antes o después del proceso de publicación.

Tennant, J. (2016). Advances in peer review. ScienceOpen Research

Texto completo Texto completo

Texto completoTexto completoTexto completoTexto completo

Texto completo

Jon Tennant . re- or post-publication peer review http://blog.scienceopen.com/February 5, 2016

PPR1

PPR2

La revision abierta implica todo el ciclo

Tony Ross

Revisión prepublicación

PLOS ONE: accelerating the publication of peer-reviewed science

Permite sugerir revisores y/o rechazarlos

Hace públicos los informes de revisión

Publicación inmediata, revisión abierta y postpublicación

http://www.peerevaluation.org

Cualquier usuario puede hacer comentarios

Pluggin o extension para DSpace

A pesar de todos estos problemas potenciales la revisión por pares en su forma actual continuará teniendo una gran

influencia en la investigación, si bien estamos presenciando el comienzo de una transformación del modelo

Evaluación científica(Acreditación)

Medir la CalidadLas Agencias de Evaluación y entidades financieras necesitan una medida objetiva de la calidad de las publicaciones.

Consecuentemente existe una demanda de medidas de este tipo

Medir la Calidad

• Colectiva: Impacto de la revista. En que revistas publicar

- Internacional: ISI JCR, Scopus SJCR, EriH, Latindex.

- Nacional: RESH, DICE, IN-RECS

• Individual: Número de citas: ISI WoK, Scopus, Google ScoolarCitations

CálculoEl factor de impacto de una revista es la media de veces que en un año determinado fueron citados los artículos publicados por esta revista en los dos años anteriores.

Cálculo

Argumentos a favor

A favor…

Cobertura internacional amplia con más de 12400 publicaciones de 60 países.

Los resultados son publicados y disponibles (FEYCIT)

Es fácil de usar y entender.

Argumentos en contra

En contra…

•El número de las citas no mide realmente la calidad de la publicación, pero sí la cantidad de publicaciones

•El periodo de cálculo base para citas es muy corto

• La naturaleza de los resultados en distintas áreas de investigación (Ciencias vs. Sociales-Humanidades)

•Sesgo Lingüístico-Geográfico revistas principalmente en inglés de países desarrollados

CARACTRISTICAS DE LAS 15 REVISTAS MÁS CITADAS

Las revistas más citadas en

Web of Knowledge son

del ámbito anglosajón y

de las áreas de ciencias

El tipo de documento publicado afecta las tasas de citas, por ejemplo, un libro tarda más tiempo en ser citado, pero será citado durante un periodo de tiempo más largo.

El momento profesional y la trayectoria académica de los investigadores es otro factor importante en las tasas de citación.

Hay citas negativas y éstas computan igual que las positivas.

Que una obra sea citada no quiere decir que haya sido citada por sucalidad. Existe un mito sobre las citas negativas, y se dice que cualquierapuede incluir a propósito un error importante en una investigación con elfin de conseguir citas. Si bien la práctica demuestra que esto no es cierto

¿Cuál de estos dos investigadores consideráis que tiene más impacto?

El artículo + citado de la historia

El artículo de Oliver H. Lowry, Nira J. Rosenbrough, A. Lewis Farr, Rose J. Randall,

“Protein Measurement with the Folin Phenol Reagent,” The Journal of Biological Chemistry (JBC) 193: 265-275, 1951, está considerado el artículo más citado de

toda la historia de la ciencia (según el ISI Web of Science 1945-2010).

293.328 citas

Oliver H. Lowry

Albert Einstein, ha sido citado a día de hoy 6647 veces

Artículos más citados de la USAL

Ciencias

Sociales

Humanidades

Buscó: Dirección: (UNIV SALAMANCA)

http://www.shanghairanking.com/es

Ranking de

Shangai

http://www.shanghairanking.com/es

Ranking Académico de las Universidades del Mundo (ARWU) en 2015

La mayoría de las universidades son

del ámbito anglosajón

“El artículo científico es actualmente más parte del problema que de la solución

para la comunidad científica, y que en un futuro no lejano se convertirá en una

cosa del pasado”

Heidi Laine, Open Knowledge Finland Open Science Working Group,

TheLeiden Manifestoforresearchmetrics

La Declaración de San Francisco sobre Evaluación de la Investigación (DORA)

Descargar

Una serie de temas recorren estas recomendaciones:

• la necesidad de eliminar el uso de métricas basadas en revistas, talescomo índice de impacto de revistas, en la financiación, en los nombramientos,y en las consideraciones de promoción;

• la necesidad de evaluar la investigación por sus propios méritos y no enbase a la revista en la que se publica la investigación, y

• la necesidad de aprovechar las oportunidades que ofrece la publicaciónen línea exploración de nuevos indicadores de la importancia y el impacto

The Leiden Manifesto for research metrics 2015

Según los autores, la obsesión de las universidades con su posición en los rankingsglobales (como el de Shanghai o el Times Higher Education, por ejemplo) estáamenazando con dañar el sistema científico ya que éstas listas están basadasen datos inexactos e indicadores arbitrarios.

International Council of Science. (2014). [e-Book] Open access to scientific data and literature and the assessmentof research by metrics, International Council of Science.

Texto completo

“Las nuevas tecnologías digitales y la comunicación ubicua ofrecen oportunidades sin precedentes para la ciencia basada en procesos

abiertos”

Interacciones científicas

Productos que generan datos de las interacciones

Estadística de SCOPUS Science Direct

Redes sociales científicas

Las redes científicas especializadas también

generan citas de sus interacciones

Todo esto se ha visto favorecido por los avances hacia una ciencia más interconectada: DOIs, URIs y URLs

persistentes

Un aspecto fundamental es disponer de una identidad univoca

Para empezar es importante como firmamos

La falta de normalización de los nombres de los investigadores en las principales bases de datos:

• Disminuye la visibilidad a nivel nacional e internacional.

• Dificulta la recuperación de las publicaciones y de las citas recibidas.

Torres-Salinas, Daniel. La importancia de la firma en las publicaciones científicas. Marzo 2013

ORCID

ISNI

ResearcherID

AutorIDLCNAF

VIAF

Identificadores AU

ORCID ES UN HUB, UN INTERCONECTOR

ORCID es un proyecto abierto, sin ánimo de lucro, comunitario, que ofrece un sistema para la identificación inequívoca de

investigadores y un método claro para vincular las actividades de investigación y los productos de estos identificadores.

Crear un perfil de ORCID es muy sencillo, 1 Registro,

2. Añadir publicaciones automáticamente, y 3. Uso

en revistas, portales..

ID deORCID

Julio Alonso-Arévalo http://orcid.org/0000-0002-4458-0380

ORCID permite añadir automáticamente las publicaciones a nuestros perfil desde importantes y diversas fuentes de información como Scopus,

Research ID, CrossReff, Redalyc, etc.

AÑADIR INFORMACION A ORCID

Sitios desde donde buscar trabajos para

añadir

Podemos añadir nuestros registros

desde otras plataformas a

ORCID simplemente con

un clic

Añadir a ORCID

Es importante que sea visible a TODOS

Información de ORCID al consultar SCOPUS

Los investigadores, los proveedores de fondos y las instituciones están cada vez más preocupadospor el impacto y retorno de la inversión de su trabajo. Las métricas a nivel de

artículo están diseñadas para ayudar a los autores a evaluar esto proporcionando una mejorcomprensión del alcance de un artículo o investigación publicada, y la atención queestá recibiendo en línea.

Métricas a nivel de artículo

Herramientas más usadas para la medición científica

https://101innovations.wordpress.com/2015/10/08/2am-altmetrics/

BIBLIOMETRÍAArtículos

Citas impacto

USOVisitas

Descargas

OPINIÓN DE EXPERTOS

Peer reviewComentarios

ACTIVIDAD ACADÉMIC

ABibliotecas

digitalesGestores de

referencias sociales

COMENTARIOSBlogs científicosRedes sociales

ACTIVIDAD SOCIAL

Medios sociales

Altmetrics

All-metrics vs Altmetrics

Ventajas• Extiende el impacto más allá del ámbito académico• Mas comprensivo• Es menos manipulable (?)• Cubre el impacto del comportamiento en línea• Medidas de impacto de formatos académicos no tradicionales• Muestra el impacto en tiempo real • Permite predecir el futuro impacto académico (?)• Puede integrarse en distintos servicios y productos (repositorio, página

personal, revistas… )• Contribuye a promocionar la identidad digital del autor

El impacto de la investigación no son únicamente los artículos…

Nuevas perspectivas de Impacto

Métricas disponibles inmediatamente

En la medición tradicional es necesario que se publiquen

otros documentos que referencien a una

investigación eso conlleva meses o años. Altmetrics

proporciona información en tiempo real desde el primer momento disponemos de datos de visualizaciones, descargas… que pueden

predecir el impacto futuro

Problemas

• La Inconsistencia de los datos• Mide la influencia social, no la calidad• Posibilidad de manipulación• Fuentes de información a veces no muy sólidas• Diferencias en las metodologías de recogida entre plataformas• Necesidad de normalización• ¿Qué significado tiene?

Inconsistencia de fuentes de datos

Inconsistencia de metodologíasDistintas mediciones en las herramientas para el mismo documento en

función de las metodologías o actualizaciones o fuentes utilizadas

Posibilidad de manipulaciónLos autores realizaron un experimento consistente en editar un falsoartículo científico publicado por un supuesto investigador llamadoMarco Alberto Pantani-Contador. El texto, carente de sentido alguno,fue copiado y pegado de la página web del grupo de investigación alque pertenecen (EC3: Evaluación de la Ciencia y de laComunicación Científica), y traducido al inglés con GoogleTranslator. Los investigadores dividieron a su vez el falso paper enseis artículos, citando en cada uno de ellos otros 129 trabajoscientíficos. El resultado no se hizo esperar: los tres autores materiales deeste experimento, a quienes Pantani-Contador citaba en su falso artículo,vieron cómo aumentaban considerablemente sus citas en Google Scholar,

Fuentes a veces poco consistentes y volátiles

Connotea un gestor de referencias de

software libre desaparecido en

2014 era utilizado por herramientas altmetricas cono

altmetric.com

Necesidad de normalización

Altmetrics : definiciones y casos de uso

Libro blanco sobre evaluación de métricas alternativas de NISO

Especial Altmetrics en ISQ: Information

Standards Quarterly

Los nuevos métodos cuantitativos de evaluación de investigación deben ser desarrollados y validados para extender y complementar los sistemas tradicionales de citas basados en el análisis bibliométrico. NISO el organismo normalizador estadounidense esta en ello, un claro sifno de que altmetrics llega para quedarse

¿Qué significado tiene?

¿Los tweets pueden predecir las citas? Métricas de impacto social basado en Twitter y correlación con los

parámetros tradicionales de impacto científico.Jason Priem*, Heather A. Piwowar**, Bradley M. Hemminger*. Altmetrics in the Wild: Using Social

Media to Explore Scholarly Impacthttp://arxiv.org/abs/1203.4745v1

Artículos con poco impacto social a veces

reciben mucha atención académica

El significado de que tipo de impacto miden, y si pueden predecir el futuro impacto académico es aún incierto

¿Mide la cantidad o miden la calidad?

¿Es una simple medida de popularidad?

http://www.altmetric.com/details.php?domain=api.altmetric.com&citation_id=571540

Fuentes de datos utilizadas por Altmetic.com

El color del rosco Altmetric es distinto en función de la influencia recibida. Azul significa más influencia en twitter, Rojo mayor

influencia en prensa, Amarillo representa una mayor atención en blogs

PONDERACIÓNPuntuación

Se trata de un sistema de puntuación ponderada en función de la calidad de la

fuente, no considera la misma puntuación para

un medio de comunicación de prensa de ámbito nacional que local o internacional…

Ver sample de ficha resumen

Fuentes que utiliza PlumX Metrics

• Amazon• Bit.ly• CrossRef• Delicious• Dryad• dSpace• EBSCO• ePrints• Facebook• figshare

• Github• Goodreads• Google+• Medwave• Mendeley• PLOS• PubMed Central• Reddit• Research

Blogging

• Scopus• SlideShare• SourceForge• Stack Overflow• Twitter• USPTO• Vimeo• Wikipedia• Worldcat (OCLC)• YouTube

Ideograma de PlumX, sólo otorga datos, no hace

valoración de la atención recibida por la investigacion

https://impactstory.org/

OPEN SESAME

Has publicado el 53% de su investigación en lugares de acceso abierto de oro. Este nivel de apertura se corresponde con sólo el 4% de los investigadores.

GREATEST HITS

Su publicación más discutida ha sido mencionada en línea 2 veces. Su mayor éxito es sobre lectura digital

FOWLER FRENZY

Alguien con 3,3 mil seguidores ha twitteado su investigación.Gracias, @jalonsoarevalo.

ALL READERS WELCOME. Su escritura tiene un nivel de lectura fácilmente comprensible en el grado 11 y superiores, sobre la base de sus resúmenes y los títulos. Eso está muy bien – ya que ayuda a los laicos y profesionales a utilizar su investigación-. También tiene 8% en la legibilidad.

¿Qué sitios están incorporando medidas

altmétricas?

Sitios que incorporan altmetrics

Altmetrics proporciona un importante potencial a las publicaciones de aquellas áreas tradicionalmente menos representadas en el ámbito de la medición bibliométrica tradicional como es

el caso de las Humanidades

Big DataBIG DATA

J4

Diapositiva 125

J4 La Ciencia como una empresa abierta"pone de relieve la necesidad de gestionar la enorme avalancha de datos generados por las tecnologías de la información con el fin de preservar el principio de apertura y explotar los datos de manera que posibiliten el potencial de crear una segunda revolución científica abierta. Explorar grandes cantidades de datos a través de las modernas tecnologías digitales tiene un enorme potencial para la ciencia y su aplicación en las políticas públicas y negocios.Julio; 30/04/2016

Procesarlos, entenderlos y transformarlos en decisiones de valor es el reto de los llamados «big data».

“Los datos constituyen una nueva clase de activo económico, tan importante como lo fueron la moneda o el oro en los tiempos

pasados.”

El intercambio de datos también permite a los científicos utilizar, analizar y reproducir los resultados de los demás

….. Sin embargo, en la actualidad los datos de investigación quedan encerrados en repositorios de datos, en las oficinas de

los investigadores, o en los organismos que lo crearon

En los últimos años, varias organizaciones científicas nacionales e

internacionales han emitido declaraciones y políticas que subrayan la

necesidad de un inmediato archivo de los datos.

La Gestión de Datos de Investigación (GDI)

¿Cómo gestionar los datos?

La Gestión de Datos de Investigación (GDI) es un proceso diseñado para gestionar y

difundir conjuntos de datos de alta calidad, que cumplan con los requisitos

académicos, legales y éticos.

Thompson ReutersData Citation Index

https://datasearch.elsevier.com/

http://datadryad.org

https://data.mendeley.com/

re3data.org

https://repositive.io

Varias instituciones, asociaciones, y organizaciones han empezado a dar pautas para la adecuada gestión de datos de investigación.

Research Data Management : Principles, Practices, and

Prospects. [e-Book]. New York, CLIR, 2013.

Texto completo

Directions for Research Data Management in

UKUniversities. London, JISC, 2015.

Texto completo

Research Data Management Roles for

Libraries. New York, Ithaka S+R, 2015

Texto completo

Research Data Management: Briefing for library directors, [e-Book] London:

Sconul, 2015Texto completo

Ello requiere conocer y documentar…

¿Quién posee los datos?¿Qué requisitos son impuestos por otros?¿Qué datos deben conservarse y por cuánto tiempo?¿Cómo deben ser preservados los datos digitales?¿Existen consideraciones éticas?¿Cómo se accede a los datos?¿Cómo deben ofrecerse los datos?¿Cómo se manejarán los costos?

REAPROPIACION DE CONTENIDOS

Vincent Larivière, Stefanie Haustein et Philippe Mongeon ont publié « Theoligopoly of academic publishers in the digital era » dans PLOS ONE le 10 juin

2015

“El acceso abierto se convierte en un

laboratorio para la innovación”(Parker 2015)

Reapropiación de contenidos

Conversión de las revistas bajo suscripción en revistas

de Acceso Abierto

Conclusiones

• La ciencia está evolucionando de manera rápida y ello está teniendo una importante repercusión en todos los procesos de investigación.

• Los medios sociales están cambiando la forma de interactuar, presentar las ideas e información y juzgar la calidad de los contenidos

• Un mayor nivel de transparencia en la investigación, acceso abierto, revisión pre y post publicación están propiciando un nuevo escenario para la comunicación y la reapropiación de los sistemas de comunicación por parte de los investigadores y de las instituciones.

• El planteamiento de una “evaluación abierta” como un proceso continuo posterior a la publicación de la revisión por pares promete hacer frente a los problemas del sistema actual. Sin embargo, no está claro cómo debe realizarse exactamente.

ACCIONES INMEDIATAS

1. Crea tu perfil en Google Académico

2. Deposita en Acceso Abierto

3. Crea tu perfil en ORCID

4. Utiliza Mendeley

5. Divulga en Redes Sociales

Julio Alonso ArévaloGrupo E-LECTRA

Universidad de Salamancaalar@usal.es