Aproximación de criterios entre los evaluadores

Carlos M. Tejada ArtigasCoordinador editorial

Jornada Sobre Calidad de Revistas de Ciencias Sociales (CRECS). Valencia, 10 de mayo 2012

Definición

• Proceso para evaluar los trabajos enviados a una publicación científica para garantizar la calidad de las investigaciones publicadas

• Sinónimo de: revisión por pares, juicio por pares, arbitraje científico

Algunos datos

Año 2011:• 228 evaluaciones encargadas• 47 evaluaciones encargadas no se han llegado a

hacer• 17 se han hecho superando el plazo estipulado• 164 se han hecho en el plazo estipulado• Coste: 13.120 euros

Objetivos

Evitar la publicación de textos:• Con mala calidad científica• No originales (excepción: repositorios)• Redundantes• No contengan información relevante para

los lectores de la revista: importancia del editor

Criterios de aceptación de artículos

• ARTÍCULOS• Trabajos de investigación, teóricos y de

revisión.• ANÁLISIS• Textos descriptivos de instituciones, productos

informativos, proyectos y experiencias. • SOFTWARE DOCUMENTAL• INDICADORES

Criterios de aceptación de artículos

Organización, sistemas, métodos, gestión y comunicación de la información y del conocimiento

TIPOS DE TRABAJOS QUE NO SON DE INTERÉS EN EPI:1. Análisis bibliométricos que no aporten métodos nuevos2. Análisis de usabilidad de webs3. Conteos de características de publicaciones4. Estudios de usuarios (resultados esperados)5. Estudios referidos a un solo país (en el caso a posibles transposiciones a otros países , posibilidad

de excepción)6. Artículos sobre métodos y relatos periodísticos (temas particulares o especializados del quehacer

periodístico, sí se aceptan los que traten la comunicación en general, así como métodos de gestión, visualización, preservación, etc., de la información periodística).

7. Actualización de observatorios, rankings y estadísticas (los artículos deben aportar al menos un 60% de novedad respecto a versiones anteriores publicadas en cualquier lugar).

8. Publicación parcial de resultados (fragmentación injustificada, y la "producción de artículos en serie“).

9. Estados del arte o de la cuestión realizados por personas sin experiencia previa en la materia

Algunas cifras globales

Rechaz-ados (no ad-mi-ti-

dos)29,0%

Rechazados (tras evaluación) 28,6%

Aceptados para publicar; 42,2%

Textos que entraron en el 2011

Número

Totales 213

Rechazados (no admitidos)

62

Rechazados (tras evaluación)

61

Aceptados para publicar

90

Total tasa de rechazo: 57,6%

Quién interviene

• Determinar quien toma la decisión final: o los editores con las opiniones de los evaluadores o los revisores.

• En el caso de EPI:• Dos o tres especialistas (expertos) que son

designados árbitros o revisores (referees)• Coordinador editorial, director y subdirector

Los evaluadores

• Reconocimiento y prestigio• Acceso privilegiado a información relevante

para el trabajo de investigación propio• Compensación económica 50 euros si se

hace antes de 10 días

• La elección

Los evaluadores

En el 2011:71 evaluadores

Nº evaluadores Nº evaluaciones

30 119 27 34 43 52 61 72 10

Los evaluadores

94%

6%

EspañaExtranjero

País Nº evaluadores

España 67

Brasil 1

Grecia 1

México 1

Uruguay 1

Los evaluadores

AndalucíaAragón

Castilla-LeónCataluñaValencia

ExtremaduraGaliciaMadridMurcia

Navarra

4.5%3.0%3.0%

42.0%10.0%

1.5%1.5%

31.0%1.5%1.5%

Región Nº evaluadores

Andalucía 3

Aragón 2

Castilla-León 2

Cataluña 28

Valencia 7

Extremadura 1

Galicia 1

Madrid 21

Murcia 1

Navarra 1

Los evaluadores

Administración Pública

CSIC

Empresa

Fundación

Organismo internacional

Universidad

4.2%

10.0%

5.6%

1.4%

2.8%

76.0%

Región Nº evaluadores

Administración Pública 3

CSIC 7

Empresa 4

Fundación 1

Organismo internacional 2

Universidad 54

Los evaluadores

Profesores

Investigadores

Profesionales

75%

7%

18%

Región Nº evaluadores

Profesores 53

Investigadores 5

Profesionales 13

El proceso

• Tiempo: 10 días al revisor

• Artículos que entraron en el 2011:• 151 que se evaluaron como media 66 días para

la decisión final• 80 que se publicaron: como media 106 días

para su publicación

• Además una corrección completa de estilo

Informe

• Aceptar• Rechazar• Aceptar con cambios importantes• Aceptar con cambios menores

Nuevos retos

• Perfeccionamiento del peer review• Exploración de otros sistemas

• Estudio en desarrollo por Tomás Baiget, Javier Guallar, Elea Gimenez, Isabel Olea y Carlos Tejada:• Informe de la evaluación durante 2010 y 2011:• Cuestionario a revisores: nuevo modelo de plantilla y

conocer sus percepciones• Cuestionario a consejo editorial: política editorial• Cuestionario a autores: Sus puntos de vista de cómo

ha sido el proceso

MUCHAS GRACIAScmtejada@pdi.ucm.es