21/01/2015

El papel del documentalista en los procesos de revisión científica

Rafael RepisoProfesor de la Universidad Internacional de la Rioja (UNIR)Grupo de Investigación EC3 / EC3metrics@repisogurru rafael.repiso@gmail.com

Presentaciones relacionadas

Peer Review. Revisión por pares de trabajos científicos

Revisión EditorialFilosofía y Procedimiento

Pon un Documentalista en tu Revista

El Perfil del Documentalista Historia y Definición del Peer Review El Documentalista en el Peer Review

Procesos Técnicos Investigación en Documentación

El Perfil del Documentalista

“Investigador Científico”

“Técnico de Laboratorio”

• Evaluador por derecho.• Conocimientos concretos de una

disciplina científica (teóricos y metodológicos).

• Conocimientos formales de escritura y comunicación científica.

• Evalúa una temática específica.

• Participa en los procesos de evaluación como un elemento auxiliar de ayuda, normalmente para el equipo editorial.

• Posee conocimientos formales de comunicación científica, lo que le permite realizar tareas de evaluación concretas.

• Igualmente permite un proceso de triaje más eficiente.

• Evalúa un amplio número de temáticas.

El documentalista en los procesos de evaluación: Dos posibles perfiles

ASIGNATURAS CLAVE DEL GRADO DE INFORMACIÓN Y DOCUMENTACIÓN (Universidad de Granada)

1Información y Referencia Obligatoria

Análisis de Contenido Obligatoria

2 Estadística F. Básica

3

Bibliometría Obligatoria

Recursos de Información Obligatoria

Sistemas de Representación y Procesamiento de la Información

Obligatoria

4

Técnicas de Recuperación de Información Obligatoria

Metodología de la Investigación en Información y Documentación

Obligatoria

Modelos Estadísticos para la Cienciometría Optativa

Evaluación del Uso y acceso a la Información Optativa

Conocimientos y Habilidades adquiridos en los estudios de Documentación

Conocimientos formales• Información y Referencia (Referencia)• Análisis de Contenido (Resumen y Palabras Clave)• Recursos de Información (Búsqueda de Información)• Sistemas de Representación y Procesamiento de la Información (Figuras)

Conocimientos Metodológicos• Metodología de la Investigación en Información y Documentación

Técnicas de Investigación• Estadística• Bibliometría• Análisis de Contenido• Técnicas de Recuperación de Información• Modelos Estadísticos para la Cienciometría• Evaluación del Uso y acceso a la Información• Sistemas de Representación y Procesamiento de la Información

Conocimientos y Habilidades adquiridos en los estudios de Documentación

• Conocimientos sobre revistas científicas• Conocimientos bibliométricos• Cultura Científica• Conocimiento de las herramientas de

evaluación de la Comunicación Científica• Conocimiento sobre gestión de

información• Conocimientos metodológicos generales

en Ciencias Sociales• Habilidades de búsqueda de información

científica

El Super-Perfil del Documentalista como evaluador

Conocimientos y Habilidades adquiridos en los estudios de Documentación

Historia y Definición del Peer Review

Henry Oldenburg

1665- Creación de Philosophical Transactions of the Royal Society. Un grupo de científicos del Consejo Científico de la Sociedad era el responsible de revisar todo lo que se publicaba.

1731. –The Royal Society of Edinburgh comienza a utilizar a revisares externos (de la Royal Society de Londres principalmente) para validar sus trabajos.

XX. A lo largo del siglo XX el Peer Review es adoptado por la mayor parte de revistas (JAMA – 1940)

Historia

Historia del Peer Review

La revisión por pares es la valoración crítica de los manuscritos presentadas a revistas por parte de expertos que no forman parte del personal adscrito a la revista.

International Committee of Medical Journal Editors

Definición

Definición

• Prevenir la publicación de trabajos malos, filtrar aquellos estudios que provienen de ideas pobres o han sido pobremente planificados y ejecutados.

• Comprobar que la investigación se ha ejecutado de forma sistemática y con procedimientos lógicos y no existen defectos en su diseño.

• Asegurar que los resultados se comunican correctamente y de forma inequívoca, contextualizados con la investigación conocida.

• Confirmar que los resultados han sido interpretados correctamente y se han tenido en cuenta todas las interpretaciones posibles.

• Asegurarse de la solidez de los resultados, evitando los resultados especulativos o preliminares, pero al mismo tiempo sin bloquear nuevas líneas de investigación o teorías.

• Seleccionar trabajos de gran interés para los lectores de la revista.• Proveer al editor de evidencias sobre la calidad del trabajo, para

facilitarle una valoración científica y justa que le ayude en la toma de decisiones.

• Incrementar la calidad y legibilidad de los trabajos.

Objetivos

Objetivos del Peer Review

PUBLICACIÓN

RECHAZO

ENVÍO DEL MANUSCRITO

EVALUACIÓN EDITORIAL

EVALUACIÓN POR PARES

ACEPTACIÓN CONDICIONAL

ACEPTACIÓN

EVALUACIÓN EDITORIAL

ESQUEMA CLASÍCO DE EVALUACIÓN EN UNA REVISTA

Esquema básico del Proceso de Evaluación

Revisor Clásico

Revisor de Revisores

El Revisor más a mano, responsable de revisión del pre-print

Toma decisiones sobre el proceso

Valora y realiza comentarios

Personajes clásicos en los procesos de revisión

Revisor General. Se encarga de revisar, desde una perspectiva holística el trabajo. Se presupone que como científico tiene conocimientos profundos de todas las áreas susceptibles de ser evaluadas.

Revisor Metodológico. Analiza uno de los aspectos clave de los trabajos, y es la validez metodológica y su adecuada ejecución.

Revisor Estadístico. Muy valioso en las revistas de Ciencias Sociales, por el desconocimiento de la comunidad de las cuestiones más concretas de la estadística.

Revisor de Estilo. Su revisión se aplica al estilo formal del documento, principalmente la redacción científica.

Tipos de revisores

Tipologías de revisores

¿Qué le faltaría al documentalista para poder realizar un trabajo de revisión completo?

Tipologías de revisores

- Conocimientos avanzados sobre estilo y redacción.- Conocimientos sobre las principales teorías del área (se puede

defender en su área).- Conocimientos metodológicos concretos (se puede defender en

su área).- Dedicarse a la investigación (ser un par).

Peer Review Los proceso Técnicos Documentales

Envío del trabajo

Autor

Comité Editorial

Envío del trabajo ajustado a los estándares de la revistaAceptación políticas

Revisión editorial (estimación)

Aspectos:•Formales•Temática•Interés•Novedad

RECHAZO

Asignación Revisores

Revisores de áreaRevisor Metodológico

Revisiones

Mínimo dos revisoresLos revisores envían un informe

Decisión editorial

Evaluación informesSolicitud de nuevas evaluacionesToma de decisiones•Aceptación•Aceptación con cambios•Rechazo

RECHAZO

Publicación

Revisión de estiloMaquetaciónEdición

1. Chequeo de plagio2. Chequeo del cumplimiento de aspectos formales3. Identificación de la Temática y la Metodología4. Análisis de Citas. Identificación de “anormalidades”5. Identificación de los autores6. Búsqueda y propuesta de revisores

Propuesta de un proceso

1. Chequeo de Plagio

Uso de sistemas de detección•Turnitin•Viper•Plagtracke•Ephorus

2. Cumplimiento de aspectos formales

3. Identificación de la Temática y la Metodología

Búsqueda de la temática y la metodología en bases de datos

¿Cuándo se comienza a publicar sobre el tema? ¿Cuál es la evolución del tema a día de hoy? ¿Está

de moda? ¿Cuáles son los trabajos base? ¿Quiénes son los referentes? ¿Y en España?

¿Cuándo se comienza a publicar sobre el tema?¿Cuál es la evolución del tema a día de hoy?¿Cuáles son los trabajos base?¿Quiénes son los referentes?

a) Contextualización temática del trabajoa) ¿Se citan los principales trabajos del área?b) ¿Qué materias/revistas está citando?c) ¿Se citan trabajos con los que se está en desacuerdo?

b) Contextualización metodológica del trabajoc) Contextualización científica

a) ¿Qué porcentaje de revistas, libros y congresos está citando?d) Actualidad del trabajo

a) ¿Cita trabajos recientes?e) Grado de internacionalización

a) ¿Cuál es el contexto geográfico de las citas?f) Grado de autocitas

a) ¿Se justifican contextualmente las autocitas de los autores?g) Grado de elaboración.

a) ¿Se ajusta en número a las citas esperadas?

Las citas como indicadores de calidad

4. Análisis de la Bibliografía

Autocitas a materiales “extraños” Citas a Pre-Prints Citas excesivas a revistas donde los autores colaboran Citas excesivas a otras revistas Citas excesivas a la propia revista, especialmente a los dos años

anteriores Citas al editor de la revista Citación excesiva a libros

Las citas como indicadores de calidad-Alertas-

4. Análisis de la Bibliografía

¿El número de autores es normal?Indicios: Número de autores versus- Complejidad de la metodología -Disciplinas que coinciden en el trabajo-Características de la muestra (amplitud y rareza)

5. Identificación de los autores

¿Quiénes son los autores y a qué se dedican?-¿Publican?-¿Dónde? (Impacto y éxito científico)-¿Sobre qué? (Temática)-¿Qué métodos suelen usar?-Identificación del grupo de influencia Coautorías, direcciones.

http://www.coauthorindex.info/

6. Propuesta de revisores

Búsqueda y Propuesta de Revisores

•Revisores Internos ¿Qué revisores tiene la revista inscritos con un perfil adecuado?•Revisores Externos ¿Qué investigadores del área están publicando trabajos de calidad?

Gestión y enriquecimiento de la base de datos de revisores

6. Identificación de los autores

Peer Review como Par ¿somos capaces?

21/01/2015

Gracias por su paciencia

Rafael RepisoProfesor de la Universidad Internacional de la Rioja (UNIR)Grupo de Investigación EC3 / EC3metrics@repisogurru rafael.repiso@gmail.com