Post on 25-May-2015
description
Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas
españolas en Humanidades
Emilio Delgado López-CózarProfesor de Metodología de la InvestigaciónFacultad de Comunicación y Documentación
Madrid, 23-25 de marzo de 2010
España en estado de excitación evaluativa
El laberinto de lasherramientas para la evaluación de las
publicaciones científicas españolas
Libros
Revistas
Todo
Nada
10%
25%
65%
Libros
Revistas
Revistas
10%
25%
65%
Libros
Revistas
Los criterios
Indicios de calidad de los librosCNEAI, ANECA, ANEP
Criterios CNEAI ANECA
ANEP
Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la
que se publica la obra CCSS
Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que
trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1
Traducciones de la propia obra a otras lenguas PCD
Inclusión en bibliografías independientes del autor y su entorno
Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias
Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)
JURID.
Obras de referencia imprescindibles en los estudios grado y postgrado
HUM
Poseer ISBN (imprescindible)
Indicios calidad revistas científicas CNEAI, ANECA, ANEP
Criterios CNEAI ANECA ANEP
Inclusión de las revistas en bases de datos internacionales
Preferentes: Arts and Humanities Citation Index y Social Science Citation Index
Similares: FRANCIS, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography
Podrán considerarse bases de datos a determinar por el comité asesor INRECS, LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad similar a los JCR y satisfagan criterios calidad editorial Apéndice 1)
Satisfacer criterios de calidad editorial Estar acreditada por la FECYT Clasificación alta en los listados del European
Reference Index for the Humanities (ERIH) de la ESF
Criterios calidad editorial revistas científicas
Criterios CNEAI ANECA ANEP
Identifica los miembros de los Comités Editoriales y Científicos
Cuenta con Instrucciones a Autores detalladas Traduce el sumario, títulos de los artículos, palabras
clave y resúmenes al inglés, en caso de revistas y actas de Congresos
Informa sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo los criterios, procedimiento y plan de revisión de los revisores o jueces
Periodicidad de las revistas y regularidad Emplea el anonimato en la revisión de manuscritos Comunica a los autores la decisión editorial de forma
motivada
Criterios calidad editorial revistas científicas
Criterios CNEAI ANECA ANEP
Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo Al menos el 75% de los artículos son trabajos que
comunican resultados de investigación originales
Al menos el 75% de los autores son ajenos a los Comités Editoriales
Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista
La tasa de aceptación de trabajos es igual o menor al 60%
Muestra: 1.294 Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios
Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369
1
Opinión científicos españoles
2
3
4
Encuesta calidad revistas españolas de Humanidades y Ciencias Sociales
2009
Muy idóneo 5 – Poco 1Valore la idoneidad de los siguientes criterios para reflejar la calidad de una revista científica
Muestra: 2.301 profesores e investigadores españoles de Humanidades
Las herramientas
RESH y DICERESH y DICE
Difusión y Calidad Editorial de las Revistas Españolas de Humanidades yCiencias Sociales y Jurídicas
Revistas Españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas
UN MISMO PRODUCTO CON DIFERENTES CARAS. DICE ES UN SUBPRODUCTO ELABORADO A PARTIR DE RESH A PETICIÓN DE LA ANECA
± 1.000 revistas españolas
RESH y DICERESH y DICE
● BASES DE DATOS
● PERIODICIDAD
● EVALUADORES EXTERNOS
● APERTURA DEL CONSEJO EDITORIAL
● APERTURA EXTERIOR DE LOS AUTORES
● ÍNDICE DE VALORACIÓN A+B
● ÍNDICE DE IMPACTO MEDIO (sin actualizar)
● CRITERIOS LATINDEX
Metodología de evaluación en RESH y DICE
Citas 1999-2003
Parámetros de calidadPuntuación máxima
1 Años vida de la revista 10
2 Cumplimiento de la periodicidad 13
3 Criterios Latindex 13
4 Revisores externos 16
5 Índice A + B 16
6 IIM 16
7 BBDD 16 Total 100
1. Años de vida de la revista
20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos
2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos
3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos
4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos
5. Índice A + B: encuesta opinión científicos (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos
Tipo de base de datos A B C SD
Especializada del área 6 3 1,5 0,75
Especializada en otra área 3 1,5 0,75 0,35
Multidisciplinar 6 3 1,5 0,75
7. Bases de Datos
El catálogo LatindexEl catálogo Latindex
Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe España y Portugal
OJO tiene dos productos
- DIRECTORIO: 16.963 revistas. Información básica normalizada
- CATÁLOGO: 3.381 revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad
!
!
Características básicas
1 Mención del cuerpo Editorial
2 Contenido
3 Antigüedad mínima 1 año
4 Identificación de los autores
5 Lugar de edición
6 Entidad editora
7 Mención del Director
8 Mención de la Dirección
Características de presentación de la revista
9 Páginas de presentación
10 Mención de periodicidad
11 Tabla de contenidos (Indice)
12 Membrete bibliográfico al inicio del artículo
13 Membrete bibliográfico en cada página
14 Miembros del consejo editorial
15 Afiliación institucional de los miembros del consejo editorial
16 Afiliación de los autores
17 Recepción y aceptación de originales
Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista
Características de los contenidos
26 Contenido original
27 Instrucciones a los autores
28 Elaboración de las referencias bibliográficas
29 Exigencia de originalidad
30 Resumen
31 Resumen en dos idiomas
32 Palabras clave
33 Palabras clave en dos idiomas
Características de gestión y política editorial
18 ISSN
19 Definición de la revista
20 Sistema de arbitraje
21 Evaluadores externos
22 Autores externos
23 Apertura editorial
24 Servicios de información
25 Cumplimiento de periodicidad
ÍNDICES DE IMPACTOREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICASREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
¿Qué son?
Índices bibliométricosÍndices estadísticos basados en recuentos de referencias
bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e
instituciones españolas
● CRITERIOS DE SELECCIÓN: pervivencia, calidad de editorial, opinión profesores e impacto internacional
● ÍNDICE DE IMPACTO: calculado de forma anual siguiendo la fórmula canónica de Eugene Garfield (Thomsom ISI), con un fino retoque
● ÍNDICE DE IMPACTO ACUMULADO: promedio de citas histórico (1994-2008), década y quinquenio
1.095 revistas243.534 artículos
62.026 citas
¿Qué son?
Índices de impacto
Índices de citas
Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos.
A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria)
27.845 títulos de 16 ámbitos - antropología, artes, comunicación social, derecho, documentación, economía, educación, filología, filosofía, general / multidisciplinar, geografía humana, historia, política, psicología, religión, sociología
ICDS (Índice Compuesto de Difusión Secundaria)
Análisis calidad editorial
• Mide• Calidad informativa• Gestión proceso editorial• Organización y estructura editorial
• Mide• Calidad informativa• Gestión proceso editorial• Organización y estructura editorial
• Fiabilidad y validez de los resultados
– Cambios en la políticas editoriales: exigen actualización constante
– Puede ser recogida sin control en la observación
– Se basa en declaraciones y no en hechos comprobados
Análisis calidad editorial
Sus resultados no correlacionan con los producidos por recuentos de citas, encuestas de opinión o difusión
Análisis calidad editorial
Análisis de la difusión y visibilidad
Mide el grado en que una revista es visible (bases de datos / Internet) y accesible (Biblioteca / Internet)
Mide el grado en que una revista es visible (bases de datos / Internet) y accesible (Biblioteca / Internet)
Fiabilidad y validez
– Cambios en la indización: exige actualización constante de la información
– Los criterios de las bases de datos y sus exigencias en la selección son muy dispares
Análisis difusión y accesibilidad
Encuestas de opinión de los científicos
Miden percepciones más que realidades (calidad percibida), la reputación y el prestigioMiden percepciones más que realidades (calidad percibida), la reputación y el prestigio
• Fiabilidad y validez– Procedimiento reactivo: posible enmascaramiento
y modificación de la opinión de los encuestados– Tasas de respuesta normalmente bajas y no
participación de determinados individuos que pueden generar sesgos en las muestras que pueden cuestionar la representatividad de los resultados
• Sus resultados suelen correlacionar con los producidos por recuentos de citas
Recuentos de citas e índices de impacto
Miden la repercusión científica: la utilidad y la influencia intelectual, no la calidadMiden la repercusión científica: la utilidad y la influencia intelectual, no la calidad
Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas
Cautela y prudencia con el uso de los datos de citación en las Humanidades
Números “pequeños”: pocas citas.
• Escuálidas comunidades científicas. Falta de masa crítica• Atomización y dispersión temática por la propia naturaleza de las Humanidades
Tiempos largos en la citación
Fiabilidad y validez
Los recuentos de citas son sensibles a múltiples factores
– Tamaño de las comunidades científicas: nº científicos– Temas de los trabajos: nacionales/regionales/locales, modas…– Hábitos de publicación y prácticas de citación de las
comunidades científicas: nº publicaciones por autor, nº referencias por artículo …
– Tipo de trabajos: revisiones, artículos…– Rapidez en la publicación (ventana de citación)
Recuentos de citas e índices de impacto
Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos).
Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente
Las propuestas
Las revistas
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
Sistema de evaluación integrada de
revistas españolas
OPINIÓN PARES
CALIDAD EDITORIAL
ÍNDICES DE
IMPACTO
CNEAI LATINDEXANECA
DIFUSIÓN
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Próximo futuro: noviembre 2010…Y después: el destino es incierto…
Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
¿Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información?
SÍ¿dónde?
Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E. Google Scholar como herramienta para la evaluación científica. El Profesional de la Información. Septiembre-Octubre 2009, vol. 18, núm. 5, p. 501-510
Una reflexión final
¿Qué es la calidad de una publicación científica?
Algo fácil de percibir pero difícil de medir
Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros
Multidimensional
No existen medidas absolutas y directas de la calidad sino indicadores parciales
Recuentos Opiniones
• Nº publicaciones en - Editoriales de prestigio - Revistas de alto nivel
• Nº citas
• Comité de sabios o expertos
• Comunidad científica: los pares• Encuestas de opinión
Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los
menos objetivos (evaluación por pares) son los más relevantes
Muchas gracias por su atenciónEmilio Delgado López-Cózar
edelgado@ugr.esec3.ugr.es/emilio
Grupo de investigaciónEvaluación de la Ciencia y de la
Comunicación Científicawww.ec3.ugr.es
ec3