Cienciometría y medidas de calidad de las revistas

científicas

GRUPO EC3

Dr. Evaristo Jiménez-ContrerasFacultad de Comunicación y Documentación

Universidad de Granada

Cienciometría, evaluación de la ciencia (…y de las revistas)

Cátedra Celestino Mutis, Bogotá 10 noviembre 2014

• Definición• Algo de Historia• Estructura, funcionamiento• La primera pregunta• Aplicaciones

– Evaluación de proyectos– Evaluación de revistas– Evaluación de investigadores– Rankings– Evaluación de Instituciones

• Ejemplo de la UGR

Contenido

• Vinckler, (1991)– Cienciometría es una disciplina científica dedicada a

los aspectos cuantitativos de la Ciencia y la investigación científica.

• La Cienciometría es una disciplina nacida como variación sobre la Bibliometría de la que toma sus metodologías pero las aplica exclusivamente sobre el análisis de la Ciencia y a la que añade todas las fuentes que pueden completar ese estudio.

• Entre sus usos estaría el mejor uso de los recursos para la investigación

Definición: qué es, para qué sirve la Cienciometría?

INFORMETRICSBIBLIOMETRICS

CIBERMETRICS

WEBMETRICS SCIENTOMETRICS

Bjorneborn, L. (2004): Small world link structures across academic web space. A Library and Information Science approach

SCIENTOMETRICS

Su posición

• Cuando nace?, los primeros recuentos..• Precursores: Cole & Eales, Hulme, Ortega• Clásicos: Lotka, Zipf, Bradford… los modelos• Maduración:

– Price, la Ciencia de la Ciencia– Garfield, ISI– Brookes, El envejecimiento

• Hoy:– Es una disciplina muy europea y cada vez más asiática– Hard Science– Muy estructurada: sociedades científicas, revistas,

congresos.– Fuerte proyección social– Controvertida

Algo de Historia

Investigación

Básica: Modelos, leyes, citas, redes…

Desarrollo de bases de datos, repositorios

Indicadores

Rankings institucionales

Evaluación/Rankings revistas

Evaluación de autores

Resultados/Productos

Aplicaciones

Evaluación institucional

Benchmarking

Política científica en general

Metodologías para el análisis de especialidades

Evaluación de proyectos

Nuevos indicadores altmetricos

Estructura funcional

• Variables mixtas: financiación externa, becas…

•RRHH•Recursos Econ.•Variables de entorno• Económicas• Políticas

Caja negra

•Producción

científica

•Formación

•Transferenci

a

•Labor social

Lo que medimos (lo que podemos medir)

La primera pregunta: es posible la evaluación de la Ciencia?

Evaluación en Ciencia

• La evaluación es inherente a la actividad científica.– La revisión por expertos es uno de los signos

distintivos del quehacer científico, es lo que diferencia a las revistas científicas de las restantes (por ejemplo)

• Es cualitativa/cuantitativa

• Sin embargo, evaluar la Ciencia con la pretensión de orientar su avance, optimizar los recursos, controlar sus progresos, etc. es algo completamente diferente y en cierto modo ajeno a la tradición científica

Es posible la planificación y la evaluación en Ciencia?

• El proceso de creación y aplicación de nuevo conocimiento es un fenómeno muy complejo que implica a numerosos agentes:– Gobiernos, instituciones científicas, empresas,

la sociedad en su conjunto• Sus efectos y algunos de sus factores son

en parte intangibles• Es incierta y a veces impredecible• Las herramientas analíticas están poco

desarrolladas (aunque cada vez más)• Con frecuencia genera polémicas y tiene

efectos contraproducentes

• Por otra parte hay razones que parecen aconsejarla:– Optimización de recursos– Planificación de inversiones y de

carreras– Evaluación de proyectos– Justificación ante la sociedad

Es posible la planificación y la evaluación en Ciencia?

El debate sobre la Política científica

Entre la Ciencia responsable. Bernal JD, (1931) La responsabilidad social del científicoLos poderes públicos pueden y deben controlar la orientación de la Ciencia

Y la república de la Ciencia…La evaluación ex ante no es necesaria porque “the results of any one particular investigation cannnot be predicted with accuracy” (Bush, V. 1945)Los científicos debían gozar de libertad total, nace la NSF

La práctica evaluadora se generaliza a partir de los 70-80 como consecuencia de la crisis económica

A quien interesa o afecta?

La evaluación de la Ciencia es un territorio donde convergen muchos intereses:

AcadémicosDesde la Universidad se suministran las herramientas y los fundamentos teóricos que la hacen posible.

PolíticosDesde la política se crean la herramientas legales para su organización y se utilizan los resultados para financiar las actividades

EconómicosSe aportan criterios para priorizar la investigación y se aprovechan de sus resultados

SocialesSe impulsan prioridades y se benefician de los resultados

Consecuencias:

InternasDetermina las carreras académicasAsigna la financiaciónEstratifica a la poblaciónIncrementa la eficiencia del sistema científico

ExternasHasta cierto punto define la orientación en la medida en que es una herramienta de la PCDa cuenta a los gestores y a la ciudadanía del estado de sus instituciones científicas

Otra reflexión previa

La reflexión sobre los indicadores y usos de la Cienciometría no es meramente técnica/teórica, Tiene unas evidentes implicaciones políticas.Su uso deben ser decidido a la luz del modelo de universidad que busquemos (y no hay un modelo único). La no evaluación de las actividades científicas, o su disolución entre un conjunto más o menos amplio de objetivos o indicadores. también es una opción política,

La percepción de las evaluaciones

Actitud de los investigadores franceses ante los procesos evaluativos:

Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS y H), Desde luego no gustan en España (en Latinoamérica?)Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluacionesEn Alemania a día de hoy no hay un sistema constituido de evaluación institucional

Actitud Porcentaje Totalmente en contra 15 Aceptan con reparos 85 Totalmente a favor 0

• No existe un patrón común: – Países con sistemas universitarios muy desarrollados:

México, Chile, Brasil, Colombia y otros…– Países con infraestructuras organizativas maduras y

otros…

• También hay que considerar si nos dirigimos a:– Universidades enfocadas a investigación o a docencia– Si tienen orientación internacional, nacional o local– Si los destinatarios de los indicadores son usuarios,

gestores, responsables políticos– Públicas o privadas– Si aspiran a la excelencia científica o tienen una agenda

social

• Por tanto los indicadores deben adaptarse a esos modelos y objetivos.

Situación de las universidades en Iberoamérica

Aplicaciones

Ámbitos de actuación

Resultados/Productos

Rankings institucionales

Evaluación/Rankings revistas

Evaluación de autores

Evaluación institucional

Evaluación de proyectos

Valoración de proyectos

• Desde los primeros ensayos en USA la valoración de proyectos ha incluido sistemáticamente un apartado de valoración de los CV de los solicitantes

• Gradualmente esta valoración ha incorporado elementos bibliométricos– Producción, impacto, citas como parte

del proceso

Caso España, la ANEP

Agencia Nacional de evaluación y Prospectiva (1989)

1, Méritos científicos del investigador principal y del resto del equipo de investigación.

1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su capacidad de liderazgo dentro del grupo.1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación. Méritos científicos de cada uno de los participantes, valorando positivamente la participación de investigadores en formación

2. Interés científico-técnico del proyecto.2.1 - Valorar el grado de novedad y relevancia del proyecto y el avance científico-técnico que supone respecto del estado actual del tema.2.2 - Valorar los resultados esperables de los objetivos propuestos, el conocimiento del estado actual del tema y la claridad de ideas en el desarrollo del proyecto

3. Viabilidad de la propuesta. 3.1 - Capacidad del equipo de investigación para llevar a cabo los objetivos propuestos. No valorar negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio en un proyecto bien fundamentado.

Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros.

Aplicación a la evaluación de las carreras académicas e institucionales

• Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia, España… han implementado alguna forma de premio por publicar fuera.

• Se vincula la carrera académica a la publicación en los “mainstream journals”.

• En general promueven la autoselección por parte de los autores

• Consecuencias:• La investigación ha pasado a ser el

centro de la vida universitaria• Incremento de las cifras de publicaciones

internacional• Reacción en contra de las áreas de CCSS

y Hum.

Algunos ejemplos; Noruega

• Tipos de publicaciones “A,B,C publications that could have achieved greater significance by expending more effort and being compiled into a smaller number of publications”

• Tipos de investigadores: local, nacional, Internacional• “As a general rule, publications in publication

channels with local authorship are not to be included in the statistics on academic publishing reported to the Database for Statistics on Higher Education (DBH), and which would therefore be included in the Ministry’s basis for setting the research component of the budgets.”

• Se diferencia entre Thomson Sci, Norart y BibSys

• Definición de publicación académica: originalidad, metodología canal, lengua.

Algunos ejemplos; UK, del RAE al REF

• Controvertido, calificado como muy negativo o muy positivo

• Mide la calidad de los resultados (publicaciones), entorno, reputación

• Flexible: cada panel establece sus reglas y umbrales.

• Se valoraban los 7 años anteriores del miembros permanentes pero se consideró a los part-time más adelante.

• Selección de las mejores publicaciones• 15 paneles y 67 subpaneles• Muy costoso• Incremento de la visibilidad pero no

necesariamente de la calidad (Moed 2008)• Ha generado una adaptación de conductas

• Valoración en 5 niveles.• Astectos nuevos: Calidad 65%; Impacto 20%;

Medio ambiente 15%• 36 paneles• Cada panel desarrolla sus propios criterios. A

modo de ejemplo en el de Medicina no se menciona el impacto científico clásico medido en citas o similar.

• Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither receive nor make use of citation data, or any other form of bibliometric analysis including journal impact factors.

Algunos ejemplos; UK, del RAE al REF

España

• CNEAI: objetivos– Introducir un régimen retributivo para

incentivar, mediante evaluaciones, la actividad investigadora de calidad

– Fomentar que los investigadores orienten sus trabajos a lograr resultados de amplia repercusión (internacional) científica y social

• Procedimiento:– Evaluación sobre resultados de investigación:

Las publicaciones– Evaluaciones formales, NO sobre contenidos.

Utilización de indicadores de objetivación forma

– Evaluación por pares: comisiones de expertos y selección de las mejores publicaciones de cada candidato (5 en 6 años)

– Valoración bibliométrica sobre todo

• ANECA fue creada en 2002 • la mejora de la calidad del sistema

de educación superior mediante la evaluación, certificación y acreditación de enseñanzas, profesorado (Ayuda para la toma de decisiones)

España

¿Qué dimensiones evalúa ACADEMIA?ACTIVIDAD INVESTIGADORA

• Artículos en revistas• Libros y Capítulos• Proyectos y contratos• Transferencia • Congresos

MÉRITOSDOCENTES

• Docencia universitaria• Dirección de tesis, tesinas,

trabajos grado…• Cursos de formación

docente

FORMACIÓN ACADÉMICA

• Títulos y premios• Becas y ayudas• Estancias de investigación

GESTIÓN

• Cargos Académicos• Puestos en la

administración• Liderazgo de grupos de

investigación y docentes

OTROS MÉRITOS

Qué evalúa ANECA?

• 2008 programa ACADEMIA (> 22.000 evaluaciones)

ANECA (2002 →)

INVESTIGACIÓN

Doc

enci

a

Ges

tión Transferencia

… pero, de hecho.

ANECA: una evaluación integral de la actividad académica

CU

Investigación

Docencia

Formación

Gestión

TU

Investigación

Docencia

Formación

Gestión

Pesos y puntuaciones para acreditación

Revistas Indexadas o con Índice de Calidad Relativo JCR

Valoración de las revistas

Revistas no Indexadas o sin Índice de Calidad Relativo

o 1 index

¡Mínimo!

Ciencias y Ciencias de la Salud

CU40 SCI (50% primer tercio)

PTU20 SCI (50% primer tercio)

¿Cuántas publicaciones son necesarias en ANECA?

Intercambiables por

sexenios

• Indicadores cualitativos• Indicadores cuantitativos– Basados en citas• FI, SJR, SNIP, AI…, sin ponderar, ponderadas

– Nuevos• Uso: visitas, descargas…Altmétricas• Redes: Intermediación, centralidad…

Indicadores para revistas

• Los rankings son un arma arrojadiza• Son unidimensionales o lo que es

peor multidimensionales• Difieren en sus reglas por tanto son

incomparables entre sí• No descansan en supuestos teóricos

claros en muchos de sus apartados

Rankings

• Los rankings han proliferado en los últimos años– Internacionales, nacionales– Unidimensionales, multidimensionales,

sintéticos– Orientados a investigación, a la

profesión, etc.– Cerrados, adaptables

• Lo bueno es que siempre podemos elegir el que más convenga a nuestra agenda científica o política.

Rankings

Desmontando los rankings

• Elementos que componen la realidad de los rankings

• Elementos que componen la realidad universitaria:

Investigación

Investigación

Docencia

Inserción laboralTransferencia

Opinión de los expertos

Reconocimiento

Opiniones y éxito de los egresados

Otras labores sociales

Una valoración personal

• Cual es la razón del éxito?– Percepciones, metodologías, información, expectación

mediática

• Los rankings han venido para quedarse por tanto…– Hay que tener un programa de actuación y debemos ser

pro-activos– Conocer sus criterios internos y potenciarlos en nuestra

política científica si son razonables y es factible hacerlo, por ejemplo;• Favorecer la publicación en revistas internacionales de alto

impacto• Contratar profesores de reconocido prestigio

• Atraen/ran visibilidad, estudiantes y recursos tanto humanos como económicos

• La incorporación de las herramientas ciencimétricas a la gestión de la universidad es uno de los grandes cambios de la política universitaria reciente

• Permiten– La toma de decisiones informada– La asignación de recursos de forma más objetiva

y coherente– La evaluación de los logros de las políticas y el

grado de acercamiento a los objetivos– La rendición de cuentas

Evaluación institucional

Un ejemplo de aplicación: la unidad de Bibliometría de la UGR

Daniel Torres-Salinas, Evaristo Jiménez-Contreras: Hacia las unidades de bibliometría en las universidades: modelo y funciones. REDC, Vol 35, No 3 (2012)

Las unidades de Bibliometría

Un ejemplo de Transferencia: EC3metrics

Muchas Gracias!

evaristo@ugr.es