Indicadores para el análisis de la visibilidad ...

Indicadores para el análisis de la visibilidad internacional delas universidades españolas

Indicators for the analysis of international visibility in Spanishuniversities

DOI: 10.4438/1988-592X-RE-2017-376-348

Daniela De FilippoAndrés Pandiella-DominiqueElías Sanz-CasadoUniversidad Carlos III de Madrid

ResumenEn el actual contexto de globalización, la visibilidad internacional se ha

convertido en un activo fundamental para las instituciones de educación superior,ya sea para obtener recursos materiales y humanos como para mejorar suprestigio. De ahí el creciente interés, por parte de las universidades, en que suslogros en ciertos campos científicos sean debidamente reconocidos. Utilizandouna metodología cienciométrica, en este trabajo, se proponen una serie deherramientas e indicadores para identificar las universidades españolas másvisibles internacionalmente y detectar sus fortalezas temáticas. Se han utilizadocomo fuentes de información la base de datos de publicaciones Web of Science,los Essential Science Indicators de Thomson Reuters y los principales rankingsinternacionales de universidades. Se obtuvieron indicadores bibliométricos devisibilidad: número de citas por institución y área temática, número dedocumentos altamente citados (Highly cited papers y Hot cited papers) y posición

Revista de Educación, 376. Abril-Junio 2017, pp. 163-199Recibido: 26-06-2016 Aceptado: 27-01-2017

163

(1) Los resultados presentados se han obtenido durante la realización del proyecto “Creación de un Serviciode Apoyo a las universidades públicas para su participación en los rankings internacionales” del Ministeriode Educación, Cultura y Deporte.

De Filippo, D., Pandiella-Dominique, A., Sanz-Casado, E. InDICADORES PARA El AnálISIS DE lA vISIbIlIDAD IntERnACIOnAl DE lAS UnIvERSIDADES ESPAñOlAS


164

de las universidades españolas en los rankings internacionales. Para unificar lasdiferentes clasificaciones temáticas en que cada fuente ofrece la información, seha realizado una agregación en 4 grandes áreas. Los principales resultadosmuestran que 44 universidades españolas presentan algún indicador devisibilidad internacional, siendo los más frecuentes los documentos altamentecitados. 27 universidades aparecen en los rankings de especialidades y es elránking QS por temas el que mejor muestra las áreas de especialización. CienciasExperimentales es el área de mayor especialización y las universidades con másvisibilidad en ella son la Universidad Autónoma de Madrid, la Universidad deValencia y la Universidad Autónoma de Barcelona. Este estudio muestra que elanálisis de visibilidad basado únicamente en el impacto de las publicacionespuede ser muy limitado y que el estudio de la presencia en rankings generalesno resulta muy preciso. Es necesario profundizar a nivel de sub-disciplina y asídetectar las fortalezas institucionales en cada área específica.

Palabras clave: Educación superior, visibilidad internacional, rankings deuniversidades, universidades españolas, especialización temática, indicadoresbibliométricos

AbstractIn today’s globalising environment, visibility has become a pivotal asset for

higher education institutions to obtain material and human resources andenhance their prestige. Hence, their interest in having their achievements incertain fields are duly acknowledged. In this paper, we propose a pool of toolsand indicators to identify the most visible Spanish universities into theinternational scope, and their thematic strengths. Different sources of informationwere used: web of science, essential science indicators, and internationalrankings. Scientometrics indicators of visibility were obtained: number of citationby institution and field, highly cited papers, hot cited papers, position of Spanishuniversities in international rankings. Considering the different thematicclassification of sources, an aggregation in 4 areas was maked and relationshipsbetween universities and their specialisations were drawn. 44 Spanish universitieshave some indicator of international visibility; the most frequent are highly citedpapers. 27 universities are in the rankings of specialties, most of them present inthe QS ranking by subject. Greater specialization is given in ExperimentalSciences and universities with more visibility are Autonomus University of Madrid,University of Valencia and Autonomus University of Barcelona. This study showsthat the analysis of visibility based solely on the impact of publications or inposition, in general ranking of universities can be very limited. It is necessary toreach the level of sub-discipline and thus detect institutional strengths in eachspecific field.

Keywords: Higher education, international visibility, international rankings,Spanish universities, thematic specialisation, bibliometrics indicators

Introducción

Actualmente las universidades se enfrentan a un doble desafío, por un

lado la necesidad de estrechar lazos con otras instituciones para optimizar

recursos y complementar capacidades, y por otro, lograr mayor visibilidad

internacional como estrategia de obtención de recursos y posicionamiento

en el ámbito global. Los nuevos tiempos en los que están inmersas estas

instituciones requieren definir nuevos modelos de actuación y de

interpretación de su actividad científica que tengan en cuenta todos los

recursos disponibles y los resultados obtenidos dentro de su ámbito de

influencia a nivel internacional (De Filippo y otros, 2015). En este

contexto de cambios, la visibilidad de las universidades adquiere una

importancia cada vez mayor.

Ser visible internacionalmente contribuye a captar estudiantes,

profesores e investigadores de prestigio y a ser un colaborador destacado

con el que otros socios extranjeros decidan vincularse para solicitar

proyectos en convocatorias internacionales. En definitiva, la visibilidad

trae aparejado reconocimiento y recursos (Docampo, 2008). Hasta hace

pocos años una manera bastante extendida de evaluar la actividad

científica –incluyendo la visibilidad- de instituciones multidisciplinares

como universidades, grupos o institutos era a través de indicadores

bibliométricos basados en las publicaciones en revistas indexadas en

bases de datos internacionales como Web of Science o Scopus (Moed,

2010). El número de documentos en colaboración internacional y otros

indicadores, como el porcentaje de publicaciones en revistas de primer

cuartil (Q1) también han sido considerados como una medida de

visibilidad, aunque los más utilizados han sido los vinculados con el

impacto, entendido este como el número de citas recibidas. En este

sentido, cada vez son más usados indicadores como el número de

documentos altamente citados (Highly cited papers, hot cited papers)

asociados a un investigador, a una institución o a un país. Esto se debe a

que son considerados un buen indicador para medir la reputación de una

institución (Zhu y otros, 2004) y para realizar comparativas

internacionales de la contribución científica de diferentes centros (Tijssen

y otros, 2002).

Además de utilizar indicadores bibliométricos para medir la visibilidad,

desde el surgimiento de los rankings internacionales de universidades,

estos han mostrado ser una herramienta eficaz en esta línea. Los rankings



165



166

han tenido un impacto notable en el mundo académico porque su

metodología –aunque no exenta de críticas (van Raan, 2005; Harvey,

2008)– suele incluir indicadores fácilmente comprensibles y comunes a

todas las instituciones que permiten realizar comparaciones entre

universidades muy heterogéneas.

Dentro del amplio abanico de rankings internacionales de

universidades los denominados League Tables son los que han adquirido

mayor prestigio y los que han tenido una mayor influencia sobre las

políticas de investigación de los centros de educación superior: Academic

Ranking of World Universities (ARWU), QS World University Rankings

(QS) y Times Higher Education World Universities Rankings (THE). Ello

se debe a que fueron los primeros en aparecer, utilizan indicadores

sintéticos fáciles de interpretar por todos los agentes involucrados y

evalúan a un numeroso grupo de universidades de todo el mundo en

base a indicadores que no solo tienen en cuenta la investigación sino que

además también incluyen otras misiones de la universidad (Rauhvargers

2011;2013). Tras su aparición en 2003-2004 estas clasificaciones globales

de universidades sacudieron el ámbito de las instituciones académicas y

desde entonces los Rankings ARWU, THE y QS han generado importantes

consecuencias positivas: incrementan la competitividad entre

instituciones, promueven la medición del rendimiento académico de las

universidades en lugar de la evaluación basada en reputación, permiten

el diseño de políticas científicas dirigidas a mejorar la posición en los

ranking, etc. (Sanz-Casado 2015)Aunque estos ranking ofrecen

información sobre toda la actividad de cada universidad, a la hora de

considerar la visibilidad de una institución es fundamental tener en cuenta

los sub-rankings de materias y áreas que se han ido incorporando para

captar las diferencias producidas en los diferentes campos del

conocimiento (van Raan, 2005; Robinson y otros, 2014a). De ahí que el

primero de los rankings en incluir información sobre disciplinas fuera el

ARWU en 2007 con una ordenación en 5 grandes campos, incluyendo en

2009 una clasificación en disciplinas específicas. Desde entonces, muchas

otras clasificaciones internacionales han seguido esta perspectiva, como

el THE, el QS, o la National Taiwan University Rankings. El ranking de

Leiden ha sido el último en seguir esta tendencia, incluyendo en su

edición de 2013 cinco grandes áreas temáticas (Robinson-García y Calero-

Medina, 2014b). Son estos rankings disciplinares los que ofrecen

información mucho más concreta sobre la especialización de cada



167

institución y, en definitiva, permiten detectar instituciones que no

aparecen en el ranking general pero que adquieren buenas posiciones –

y por lo tanto alta visibilidad– en algún campo específico.

Teniendo en cuenta estas dos fuentes de información –las

publicaciones y los rankings– el objetivo principal de este trabajo es

detectar cuáles son las universidades españolas con mayor visibilidad

internacional y en qué áreas específicas se especializan. Esta información

permitirá determinar cuáles son los principales focos de atracción

científica del Sistema Universitario Español frente a la comunidad

internacional.

Fuentes y metodología

Considerando la importancia que la cienciometría ha alcanzado en las

últimas décadas como metodología para el estudio y evaluación de la

actividad investigadora de las instituciones (Moed 2005), en este estudio

se utilizan indicadores cuantitativos para acercarse al análisis de la

visibilidad de las universidades. Ya que se trata de analizar la visibilidad

internacional, se han elegido fuentes de reconocido prestigio en ese

ámbito y que se encuentren entre las más reconocidas y utilizadas en el

campo de la evaluación de la actividad científica de las instituciones de

educación superior.

Para llevar adelante este estudio se han seguido las siguientes etapas:

n Identificación de universidades más citadas: se han consultado los

Essential Science Indicators de Thomson Reuters (edición 2015) que

ofrecen información sobre el número de publicaciones en Web of

Science y las citas recibidas por cada institución en la última década

(2005-2015). Se han detectado las 500 instituciones más citadas del

mundo y, entre ellas, se han identificado las universidades españolas.

Se recogieron las citas y las citas por documento recibidas en las

diferentes áreas temáticas (22 áreas InCites en las que se clasifican

las revistas WoS)2 y se compararon los promedios de cada

universidad con el de España por área temática para identificar las

instituciones y especialidades más destacadas.

(2) La clasificación temática usada por los Essential Science Indicator se detalla en: http://incites.isiknowledge.com/common/help/h_field_category.html



168

n Selección de los documentos más citados: a través de los Essential

Science Indicators (Thomson Reuters: 2015) se han seleccionado los

Highly cited paper (publicaciones más citadas en el período de 10

años estudiado)3. Se han identificado las universidades españolas

firmantes de los 200 documentos más citados. La información se ha

recogido por categoría temática (22 áreas InCite) y se ha obtenido

la posición de cada universidad española en el ranking de citas del

mundo por área. Se han obtenido, también los Hot cited papers

(publicaciones con alta citación en los dos últimos años). Se han

considerado las publicaciones con más de 100 citas y se han

identificado, entre ellas, las firmadas por universidades españolas

por área temática (22 áreas InCites).n Detección de universidades en los ránkings internacionales: para

complementar la información obtenida de las publicaciones, se ha

consultado la edición 2015 de los rankings: ARWU, QS y THE. En

primer lugar se ha obtenido información sobre las posiciones

alcanzadas por todas las universidades de cada país por áreas

temáticas. A través de un análisis de correspondencia (con la

herramienta XLstat) se han relacionado los datos de países y

temáticas para identificar la especialización de España frente a los

otros países presentes en los rankings. Con la información obtenida

de los ránkings se han elaborado indicadores de posicionamiento

de las universidades españolas tanto en los rankings generales como

por especialidades (subject y field).n Agregación de categorías temáticas: dado que la información

proveniente de los Essential Science Indicators se encuentra

clasificada en 22 áreas, se ha decidido agregarla en 4 grandes áreas

para compararla con la clasificación de los rankings de

universidades. Para ello, la categoría de cada revista en WoS se ha

agregado según la clasificación GIPP de Thomson Reuters en 6

campos4: (Tabla I).

(3) El proceso seguido por Thomson Reuter para obtener los Highly cited papers se pude consultar en:http://esi.webofknowledge.com/help/h_dathic.htm.

(4) La clasificación en 6 campos está disponible en accesible en: http://ipscience-help.thomsonreuters.com/inCites2Live/indicatorsGroup/aboutHandbook/appendix/mappingTable.html

TABLA I. Agregación de categorías temáticas (wos categories en grandes áreas GIPP)

Fuente: elaboración propia a partir de información obtenida de thomson Reuters (2016)

En el caso de los ránkings, la agregación temática suele ser de 5

grandes áreas aunque diferentes en cada uno. Para contar con una

clasificación similar a las de áreas GIPP, se ha unificado a 4: Engineering;

Life Science & Medicine; Experimental Science; Humanities & Social



169

Area GIPP WoS category

Engineering Acoustics;Automation & Control Systems; Computer Science; Construction & BuildingTechnology; Energy & Fuels; Engineering; Ergonomics; Imaging Science & PhotographicTechnology; Instruments & Instrumentation; Materials Science; Mechanics; Metallurgy &Metallurgical Engineering; Microscopy; Mining & Mineral Proce ssing; Nuclear Science &Technology; Operations Research & Management Science; Remote Sensing; Robotics;Telecommunications;Transportation

Life Science &Medicine

Agriculture;Agronomy;Anatomy & Morphology;Andrology; Behavioral Sciences;Biochemistry; Biodiversity Conservation; Biology; Biophysics; Biotechnology; Cell Biology;Ecology; Entomology; Environment; Fisheries; Forestry; Genetics; Horticulture;Immunology; Limnology; Marine & Freshwater Biology; Microbiology; Neuroscience;Ornithology; Paleontology; Parasitology; Physiology;Veterinary Science; Zoology.Allergy;Anesthesiology; Cardiac & Cardiovascular Systems; Clinical Neurology; CriticalCare Medicine; Dentistry; Dermatology; Emergency Medicine; Endocrinology & Metabolism;Gastroenterology & Hepatology; Geriatrics & Gerontology; Health Care Sciences &Services; Hematology; Infectious Diseases, Integrative & Complementary Medicine;Medicine, General & Internal; Nursing; Nutrition & Dietetics; Nursing; Obstetrics &Gynecology; Oncology; Ophthalm ology; Oncology; Orthopedics; Otorhinolaryngology;Pathology; Pediatrics; PeripheralVascular Disease; Pharmacology & Pharmacy; PrimaryHealth Care; Psychiatry; Public, Environmental & Occupational Health; Radiology;Rehabilitation; Respiratory System; Rhe umatology; Sport Sciences; Substance Abuse;Urology & Nephrology;Transplantation;Tropical Medicine; Urology & Nephrology

ExperimentalScience

Astronomy/Astrophysics; Chemistry; Crystallography; Electrochemistry; Geochemistry &Geophysics; Geography, Phy sical; Geology; Geosciences; Mathematics; Meteorology &Atmospheric Science; Mineralogy; Multidisciplinary Sciences; Nanoscience &Nanotechnology; Oceanography; Optics; Physics; Polymer Science; Spectroscopy; Statistics& Probability;Thermodynamics;Water Resources

Social Sciences& Humanities

Anthropology;Archaeology; Business; Communication; Criminology & Penology;Demography; Economics; Education; Environmental Studies; Ethics; Ethnic Studies;Geography; Gerontology; Health Policy & Services; History of Social Sciences, Hospitality,Leisure, Sport & Tourism; International Relations; Law; Management; Planning &Development; Political Science; Psychology; Public Administration; Social Issues; SocialWork; Sociology; Urban Studies;Women`s Studies.History & Philosophy of Science; Humanities; Language; Linguistics; Literature, MedievalStudies; Music; Philosophy; Poetry; Religion;Theater

Science En la tabla II se muestra como se ha realizado la correspondencia

entre áreas.

TABLA II. Agregación de la clasificación de rankings en grandes áreas

Fuente: elaboración propia a partir de información obtenida de todas las fuentes

n Relación entre instituciones más visibles y especialización temática:

con toda la información recogida ha sido posible obtener una

relación entre universidades y especialización temática a partir del

agregado disciplinar en 4 grandes áreas. Esto permite identificar las

áreas de mayor visibilidad del Sistema Español de Educación

Superior y las universidades que destacan en cada una. Para la



170

Normalized Área Area from sources Rank

SOC ARWU

Social Sciences and Management QS

Social Sciences THE

Arts and Humanities QS

Arts & Humanities THE

Arts & Humanities INCITE

Social Science & Humanities

Social Science INCITE

LIFE ARWU

Life sciences THE

MED ARWU

Life Sciences and Medicine QS

Clinical, Pre-clinical & Health THE

Clinical, Pre-Clinical & Health INCITE

Life Science & Medicine

Life Science INCITE

ENG ARWU

Engineering and Technology QS

Engineering and technology THE

Engineering &Technology

Engineering & Technology INCITE

SCI ARWU

Natural Scieces QS

Phisical Science THE

Experimental Science

Physical Sciences INCITES



171

visualización se ha utilizado el diagrama de flujos realizado con el

programa RAW5.

En el gráfico I se muestra el proceso seguido

GRÁFICO I. Pasos seguido en la metodología

Fuente: elaboración propia

(5) RaW es una aplicación abierta accesible en: http://raw.densitydesign.org

Resultados y discusión

Identificación de universidades más citadas

A partir de los Essential Science Indicators se observó que, durante laúltima década, seis universidades españolas se encuentran entre las 500instituciones más citadas: la Universidad de Barcelona (UB), la Autónomade Barcelona (UAB), la Universidad de Valencia (UV), la Autónoma deMadrid (UAM), la Universidad Complutense de Madrid (UCM) y laUniversidad de Granada (UGR).

Al considerar los valores de impacto en cada una de las 22 áreasInCites se pueden detectar aquellas en que destaca cada universidad. Seha observado que la Universidad de Barcelona es la primera en 7 áreascon valores especialmente elevados con respecto a la media de Españaen Computer Science. La Universidad Autónoma de Madrid destaca en 5áreas con un alto impacto relativo en Chemistry, mientras que laUniversidad de Valencia se posiciona en los primeros lugares en 4 áreas,destacando en Material Sciences.

La agregación en 4 grandes campos, muestra un alto impacto relativode la Universidad de Barcelona en Life Science con un promedio de citaspor documento muy superior al de España. En Experimental Science,predomina el impacto de la Universidad de Valencia, mientras que enEngineering es especialmente elevado el número de citas por documentoen la Universidad de Barcelona. Social Sciences es el campo en el quetodas las universidades mencionadas presentan un impacto superior alpromedio de España (tabla III).

TABLA III. número de citas/doc de las publicaciones de universidades españolas (papers de lasinstituciones del tOP 500 del mundo por citas. 2005-2015)

Fuente: elaboración propia a partir de Essential Science Indicators: (2015)



172

Área UB UAB UV UAM UCM UGR ESPAÑA

LIFE 17,85 14,02 13,32 15,34 11,07 10,55 14,90

EXP 12,06 15,43 17,83 16,42 6,77 13,44 14,39

ENG 12,06 9,81 11,27 9,05 9,33 7,19 8,53

SOC 6,63 5,97 4,15 4,04 4,26 4,43 3,43

Total 16,61 13,65 14,37 15,05 10,98 10,86 12,41

Selección de los documentos más citados:

Highly cited papers en Web of Science

A través de los Essential Science Indicators es posible obtener lainformación sobre los Highly cited papers en Web of Science durante losúltimos 10 años. Teniendo en cuenta los 200 primeros artículos delmundo (por citas recibidas) la primera universidad española es laUniversidad de Vigo, con un documento en el área de Life Science &

Medicine (temática Molecular Biology & Genetic) que ha recibido 3901citas. En la tabla V se muestran los papers de universidades españolasrankeados en las 200 primeras posiciones, indicando el número de citasque ha recibido el documento más citado, el gran área y el área InCite ala que pertenece el artículo, la posición del mundo en que se ubica elpaper por su número de citas y el máximo de citas que ha recibido elmejor artículo en esa área. La Universidad de Granada se ubica en buenasposiciones con cuatro artículos destacados en Experimental Sciences

(categoría Physics), siendo esta área la de mayor concentración depublicaciones españolas altamente citadas

TABLA IV. Highly cited papers de las universidades españolas mejor posicionadas en todas lasáreas (artículos de las instituciones del tOP 200 del mundo por citas. 2005-2015)




173

Rank in

SpainUniversity

N citations

recibedArea Area InCite

Rank in

theWord

Max citation

in the area

1 UVIGO 3901 LIFE Molecular Biology & Genetic 55 18635

2 UPV 3573 EXP Physics 74 15048

2 UGR 3573 EXP Physics 74 15048

3 UB 3383 ENG Computer Science 6 9344



5 UV 3257 EXP Physics 94 15048





7 UV 3114 EXP Physics 106 15048

7 UAB 3114 EXP Physics 106 15048

8 UNIZAR 2520 EXP Physics 156 15048

9 UAM 2404 EXP Chemistry 177 39341

9 UMU 2404 EXP Chemistry 177 39341

Al descender al análisis de los 200 papers más citados en cada área se

puede analizar donde se focalizan las fortalezas en cuanto a

especialización. Computer Science, Envinonmental Science,

Multidisciplinary y Physics son las áreas con mayor número highly cited

papers de universidades españolas. A nivel de institución, en cambio,

destaca la Universidad de Barcelona con una publicación altamente citada

en Computer Science (puesto 6 del mundo). Entre los artículos más

citados también se encuentran uno de la Universidad Politécnica de

Valencia y otro de la Universidad de Granada en Physics en el puesto 9

del mundo. En el gráfico II se muestra el área de especialización de cada

universidad indicando su posición a través del tamaño y el color de los

círculos (colores oscuros y círculos grandes = mejores posiciones).

GRÁFICO II. Highly cited papers de las universidades españolas mejor posicionadas en cada área(artículos de las instituciones del tOP 200 del mundo por citas. 2005-2015)




174

Hot cited papers

Los Hot cited papers son los artículos que acumulan un alto número de

citas en los dos años siguientes a la publicación. En la tabla V se presentan

los artículos de las universidades españolas que se encuentran entre los

documentos con más de 100 citas. De los 31 Hot cited papers detectados

Life Science es la gran área que concentra mayor número de documentos.

En concreto las categorías Clinical Medicine y Physics son las que cuentan

con mayor número de Hot cited papers de universidades españolas, aunque

en muchos casos se trata de artículos en colaboración entre varias de ellas.

En función de la posición de cada universidad a nivel mundial, destaca un

artículo de la UAM que es el primero en Plant & Animal Sciences y otro en

el que participa la UB (Clinical Medicine) en el puesto 5.

TABLA V. Hot cited papers de las universidades españolas mejor posicionadas en todas las áreas




175

Rank en

EspañaUniversidad

N de citas

recibidasArea Area InCite

Rank en el

mundo

Maxima

citación en

el área

1 UB 502 LIFE Clinical medicine 5 3089


2 UV 445 LIFE Clinical medicine 7 3089

2 UNAVARRA 445 LIFE Clinical medicine 7 3089

2 URV 445 LIFE Clinical medicine 7 3089

2 UMA 445 LIFE Clinical medicine 7 3089

2 ULPGC 445 LIFE Clinical medicine 7 3089




10 UAB 209 LIFE Clinical medicine 36 3089

11 UNIOVI 209 LIFE Molecular Biology 6 524

15 UAM 160 LIFE Plant & Animal Sciences 1 160




21 UNIOVI 142 LIFE Clinical medicine 68 3089

22 UB 142 LIFE Neuroscience 6 333

22 UAB 142 LIFE Neuroscience 6 333


25 UNIALI 131 EXP Chemistry 35 641


26 UAM 127 EXP Physics 19 303



29 UDG 103 LIFE Environment / Ecology 7 202


Cuando se desagregan los datos por cada una de las subáreas, se

observa con mayor detalle cuales son las mejores posiciones que alcanzan

los documentos de universidades españolas. En el gráfico III se presentan

los documentos de universidades españolas con más de 100 citas en cada

área InCite. Se visualiza la mejor posición que el paper alcanza en el área

en función del número de citas y se representa su posición a través del

tamaño y el color de los círculos.

GRÁFICO III. Hot cited papers de las universidades españolas mejor posicionadas en cada área(papers de las instituciones del tOP 100 del mundo por citas. 2005-2015)

Fuente: elaboración propia a partir de Essential Science Indicators: (2015) (se adjunta gráfico en Excel)

Detección de universidades en los ránkings internacionales:

Ranking ARWU

Los datos obtenidos de la edición 2015 del ranking de Shanghái muestran

que en la clasificación general aparecen 13 universidades españolas entre

las 500 primeras. La mejor posición la obtiene la Universidad de

Barcelona, entre los puestos 151 y 200. Aunque el número de

instituciones españolas en el ranking general es bajo, las cifras aumentan

cuando se analizan los sub-ránkings por field y subject, ya que incluyen

hasta 18 universidades del país.



176

Si se considera la clasificación de cada país por field, se aprecia que

España está en el puesto 14 por el número de universidades entre las 200

primeras ya que tiene 4 instituciones en Science y otras 4 en Social

Sciences, 3 en Engineering y en Life Science, y 2 en Medicine. A partir

del número de universidades de cada país presente en los ránkings y

considerando su especialización, en el gráfico IV se muestra un análisis

de correspondencia en el que se relacionan los países y las áreas. Como

se puede apreciar el eje vertical se distribuye entre Ciencias Sociales y

Ciencias Exactas/Naturales, mientras que en el horizontal se sitúan los

nodos desde Ciencias de la Vida y Medicina (izquierda) hasta Ingeniería

(derecha). España se sitúa en el centro del mapa, lo que indica que cuenta

con universidades en los rankings field de todas las áreas. Por su posición,

el Sistema Universitario Español muestra una especialización similar al

de Suecia, Australia y Bélgica ya que se observa una distribución

equitativa entre los diferentes campos.

GRÁFICO IV. Distribución de los sistemas universitarios en función de su especialización temática(países con universidades en el tOP 200) (ARWU 2015)

Fuente: elaboración propia (se adjuntan datos en Excel)



177

Dentro del Sistema Universitario Español el análisis por áreas y subáreas

hace visible a un número mayor de instituciones, y permite a las

universidades obtener mejores posiciones que en el ranking general,

pudiéndose detectar las especialidades de cada una. Considerando el

ranking por field (que incluye las 200 primeras universidades), las mejores

posiciones de las universidades españolas la alcanzan la Universidad de

Barcelona, en el puesto 51-75 en Medicina, y la Universidad Autónoma de

Madrid en el puesto 76-100 de Science. Si se considera el subránking por

subject, destacan la Universidad de Granada en el puesto 42 en Computer

Science, la Universidad Autónoma de Madrid en la posición 51-75 en

Physics y Mathematics, la Universidad de Santiago de Compostela también

en este rango de Mathematics y la Universidad Pompeu Fabra en el puesto

51-75 en Economics. Si se consideran las áreas donde aparece mayor

número de universidades españolas, instituciones presentes en cada área,

destacan Mathematics y Computer Science (tabla VI).

Tabla VI. Posición de las universidades españolas en el ranking ARWU (2015)

Fuente: elaboración propia a partir de ARWU (2015)



178

General

(500)Field (200 univ) Subject (200)

InstituciónRank

MundialMED SOC SCI LIFE ENG MATH CHEM COMP ECON PHYS

UB 151-200 51-75 151-200 151-200 151-200 X X 101-150 X X 151-200

UAB 201-300 151-200 X X 151-200 X 101-150 151-200 151-200 151-200 X

UAM 201-300 X X 76-100 151-200 X 51-75 151-200 X X 51-75

UCM 201-300 X X X X X 101-150 151-200 X X X

UPF 201-300 X 101-150 X X X X X 151-200 51-75 X

UV 301-400 X X 151-200 X X X 101-150 X X 76-100

UPV 301-400 X X X X 151-200 76-100 76-100 101-150 X X

UGR 301-400 X X X X 101-150 101-150 X 42 X X

UPC 401-500 X X X X 101-150 X X 101-150 X X

USC 401-500 X X 151-200 X X 76-100 X X X X

EHU 401-500 X X X X X 101-150 X X X X

UNIZAR 401-500 X X X X X X 76-100 X X

US 401-500 X X X X X 101-150 X X X X

UC3M X X X X X X X X 151-200 101-150 X

UJAEN X X X X X X X X 51-75 X X

UPM X X X X X 151-200 X X 101-150 X X

UAL X X X X X X X 151-200 X X X

URiV X X X X X X X 151-200 101-150 X X


Ranking QS

En la edición 2015 del ranking QS aparecen 12 universidades españolas

entre las 500 mejores del mundo. De ellas la mejor posicionada es la

Universidad de Barcelona en el puesto 166 del mundo, pero en el ranking

Field las posiciones de las universidades españolas mejoran

considerablemente. El mayor número de instituciones se presenta en

Social Sciences (7), seguido por Natural Science y Arts & Humanities (5).

Considerando la distribución de universidades por país y área, en el

análisis de correspondencia de la figura 6 se puede apreciar que España

muestra perfiles de especialización cercanos a las Ciencias Sociales y

similares a los de Singapur, Australia y Reino Unido de allí que se

posicione cerca de estos (gráfico V).

GRÁFICO V. Distribución de los sistemas universitarios en función de su especialización temática(países con universidades en el tOP 200) (QS 2015)

Fuente: elaboración propia (se adjuntan los datos en excel)



179

Descendiendo a instituciones se puede observar que, mientras en el

ranking general de QS no se encuentra ninguna universidad española

entre las 150 primeras, en el de especialidades (Field) la posición más

destacada es para la Universidad Politécnica de Cataluña, en el puesto 82

en Engineering &Technology. En Arts & Humanities tres instituciones

están entre las 150 primeras del mundo: Universidad de Barcelona,

Universidad Complutense de Madrid y Universidad Autónoma de Madrid.

En Life Science & Medicine solo hay una universidad en puestos inferiores

al 150 y tres en Natural Science, al igual que en Social Science. En el

ranking de subject o faculty las posiciones mejoran considerablemente

con la Universidad Politécnica de Cataluña en el puesto 22 de Engineering

(categoría Architecture), Universidad Pompeu Fabra en el puesto 23 de

Social Science (en Economics & Econometrics), la Autónoma de Barcelona

en Life Science & Medicine (Veterinary Science), la Ramón Llull en la

posición 29 (Business & Management) y la Universidad Carlos III en el

puesto 38 (en Economics & Econometrics).

En la tabla VII se muestra la posición alcanzada por las universidades

en el ránking general y las mejores posiciones que obtiene cada

universidad en los ránkings por field y subject. Dado que la clasificación

por subject incluye 32 categorías disciplinares, sólo se menciona la

categoría superior, mientras que el detalle del subject específico en el que

se posiciona cada universidad se muestra en el ANEXO.



180

TABLA VII. Posición de las universidades españolas en el ranking QS (2015)

Fuente: elaboración propia a partir de los datos obtenidos de QS: 2015

Ranking THE

El ranking Times Higher Education rankea 800 universidades en su

edición general de 2015-2016. Entre ellas aparecen 25 instituciones

españolas, siendo la primera la Universidad Autónoma de Barcelona en

el puesto 146. Si se consideran las 500 primeras, son 9 las universidades

españolas presentes.

La edición 2015 ofrece también seis rankings por field mostrando la

posición de las 100 primeras instituciones en cada campo. A nivel general

España se ubica en el puesto 22 del mundo con una presencia muy

reducida en cada campo: dos universidades en Arts & Humanities, una

en Clinical Medicine y una en Social Science.

Al realizar el análisis de correspondencia con información de

universidades por país y área, se observa que España se ubica en el

cuadrante vinculado con la especialización de Artes y Humanidades y



181

General

(500)Fields (400 univ) Subject (200)

InstituciónRank

Mundial

ARTS

& HUM

ENG &

TECH

Life

SCI &

MED

NATUR

SCI

SOC

SCI

ARTS

& HUM

ENG &

TECH

Life

SCI &

MED

NATUR

SCI

SOCIAL

SCI

UB 166 98 104 87 62 129 48 101-150 51-100 51-100 51-100

UAB 190 164 227 164 128 140 51-100 151-200 23 51-100 51-100

UAM 186 149 234 228 103 183 101-150 151-200 150 51-100 51-100

UCM 226 103 240 236 175 174 51-100 151-200 40 101-150 51-100

UNAV 265 280 X 321 X 155 51-100 X 101-150 X 51-100

UPF 295 235 X X X 119 101-150 X 251-300 X 23

UPC 299 385 82 X 272 X X 22 X 101-150 51-100

UC3M 314 389 244 X X 141 51-100 151-200 X 251-300 38

UPM 461-470 X 130 X X X X 51-100 51-100 251-300 X

UPV 410-420 X 160 X 198 X X 101-150 51-100 201-250 101-150

UGR 461-470 220 X 355 349 397 101-150 201-250 151-200 201-250 151-200

UNIZAR 491-500 X 387 X 349 X 201-250 251-300 151-200 251-300 X

USAL 481-490 216 X X X X 101-150 X 151-200 X 151-200

UV X 385 X 351 239 360 151-200 X 151-200 X X

URLL X X X X X 198 X X X X 29

US X 305 374 X X X 151-200 201-250 X 301-400 151-200

IE X X X X X X X X X X 51-100

Ciencias Sociales. Perfiles similares tienen las universidades de Nueva

Zelanda, Holanda y Honk Kong por lo que se encuentra cercana a estos

(Gráfico VI).

GRÁFICO VI. Distribución de los sistemas universitarios en función de su especialización temática(países con universidades en el tOP 100) (tHE 2015)

Fuente: elaboración propia (se adjunta los datos en Excel)

Descendiendo a subáreas, en el caso de España, sólo aparecen cuatro

universidades entre las 100 primeras en Arts & Humanities, Social Science

y Clinical & Preclinical Heath. La mejor posición es la de la Universidad

Pompeu Fabra (puesto 67 en Social Science). En la tabla VIII se muestra

la posición de cada universidad en el ránking general y la mejor posición

alcanzada en cada field (tabla IX).



182

TABLA VIII. Posición de las universidades españolas en el ranking tHE (2014-2015)

Fuente: elaboración propia a partir de los datos obtenidos del ranking tHE: 2014-2015

Overview of visibility from different sources

Teniendo en cuenta los indicadores obtenidos de las diferentes fuentes

analizadas se aprecia que, de las 80 universidades del Sistema Español

de Educación superior, poco más de la mitad (44) cuenta con algún

indicador de visibilidad internacional. Los más frecuentes son los

relacionados con documentos altamente citados, mientras que 26

instituciones están presentes en los ránkings de sub-campos. Las

instituciones que presentan mayor visibilidad (considerando los

indicadores de publicaciones y ránkings) son la Universidad Autónoma

de Barcelona, la Universidad de Barcelona, la Autónoma de Madrid y la

Complutense (tabla IX).



183

General (2015) Field (2015-2016)

InstituciónRánking mundial ATS & HUM SOCIAL SCI

CLINICAL,

PRECLIN &

HEALTH

UAB 146 X X X

UPF 164 X 67 X

UB 174 X X 76

UAM 301-350 90 X X

UNAV 301-350 X X X

UV 401-500 X X X

UCM 401-500 87 X X

UPC 401-500 X X X

URV 401-500 x x x

TABLA IX. Frecuencia de apariciones de cada universidad entre las 200 primeras (documentosmás citados y ránkings)

Fuente: elaboración propia



184

Essential Science Indicators Ranking ARWU Ranking QSRanking

THE

Universidad HIGHGLYCITED

PAPERS

HOT CITEDPAPERS

FIELD SUBJECT FIELD SUBJECT SUBJECT

Total

UAB 10 6 3 4 5 22 1 51

UB 8 5 4 2 5 25 1 50

UAM 9 2 2 3 5 18 0 39

UCM 4 0 0 2 5 21 1 33

UV 7 4 1 3 4 8 0 27

UPF 10 0 1 2 2 7 1 23

UGR 7 1 1 2 4 6 0 21

UPV 6 0 2 0 2 8 0 18

UPC 2 0 1 2 3 7 0 15

UNIZAR 4 1 0 2 2 5 0 14

UC3M 1 0 0 2 3 6 0 12

US 3 0 0 1 2 6 0 12

USAL 4 0 0 0 1 7 0 12

USC 4 0 1 2 0 4 0 11

UNAV 2 1 0 0 3 4 0 10

UNIOVI 7 2 0 1 0 0 0 10

UPM 1 0 0 1 1 5 0 8

UIB 5 0 0 2 0 0 0 7

UVIGO 6 0 0 0 0 0 0 6

EHU 3 0 0 1 0 0 0 4

UA 3 0 0 1 0 0 0 4

UAL 3 1 0 0 0 0 0 4

UM 2 1 0 0 0 1 0 4

URV 2 1 0 1 0 0 0 4

UJI 0 3 0 0 0 0 0 3

ULL 3 0 0 0 0 0 0 3

UCO 2 0 0 0 0 0 0 2

UHU 0 0 0 2 0 0 0 2

UJAEN 1 0 0 1 0 0 0 2

UNAVARRA 0 2 0 0 0 0 0 2

UNICAN 2 0 0 0 0 0 0 2

UPO 1 1 0 0 0 0 0 2

URJC 2 0 0 0 0 0 0 2

DEUSTO 1 0 0 0 0 0 0 1

UCLM 1 0 0 0 0 0 0 1

UDC 1 0 0 0 0 0 0 1

UDG 0 1 0 0 0 0 0 1

UDL 0 1 0 0 0 0 0 1

ULPGC 0 1 0 0 0 0 0 1

UMA 1 0 0 0 0 0 0 1

UMH 1 0 0 0 0 0 0 1

UNEX 1 0 0 0 0 0 0 1

URL 0 0 0 0 1 0 0 1

UVA 0 0 0 1 0 0 0 1Fuente: elaboración propia

Si se considera el tipo de fuente y el área se puede observar que en el

total de España los Highly cited papers están vinculados con Experimental

Science. Por el contrario en los Hot cited papers y, en los ránkings, Life &

Medicine es el área que destaca (gráfica VII).

GRÁFICO VII. visibilidad según tipo de Fuente por gran área temática

Una vez identificados los diferentes indicadores de visibilidad para

cada universidad y determinada su área temática, se ha detectado la

relación entre ambas variables. Se observa que Experimental Science es

el campo donde mejor se posicionan las universidades españolas,

destacando las universidades Autónoma de Madrid, Valencia y Autónoma

de Barcelona. En Life Science & Medicine la mayor visibilidad es para la

Universidad de Barcelona, mientras que en Social Science destaca la

Universidad Autónoma de Barcelona y en Engineering las universidades

de Vigo, Granada y las politécnicas. En el gráfico VIII se muestran las

universidades con mayor visibilidad (frecuencia >1) identificando el área.

El grosor de la línea es proporcional a la frecuencia total de indicadores

de visibilidad con que cuenta cada institución.



185

GRÁFICO VIII. Universidades con mayor visibilidad internacional por área temática

Discusión

Los datos obtenidos en este trabajo permiten plantear algunas reflexionesde interés para diferentes stakeholders del sistema universitario, como losresponsables académicos, los policy makers, los profesores einvestigadores y los estudiantes. Los resultados evidencian que lasuniversidades son muy heterogéneas y que por ello, los rankingsgenerales no muestran adecuadamente las fortalezas de cada una. Existenalgunos factores que hacen que determinadas universidades se ubiquenen las mejores posiciones en los rankings generales, enmascarando laactividad investigadora y docente que muestran otras universidades enespecialidades concretas. En este sentido, la tradición o la obtención depremios nobel beneficiaría en su conjunto a las universidades de granprestigio (efecto Mateo), independientemente de que no muestren losmismos resultados en todas sus áreas de actividad. Por ello, esfundamental identificar a las universidades con enfoques disciplinariossimilares para poder compararlas e interpretar este tipo de



186

comparaciones. Además, las comparaciones globales pueden perjudicara ciertos tipos de universidades e influir en su posicionamiento como hanmencionado Bornmann et al. (2013a).

Para superar estas limitaciones, en este trabajo se propone laobtención de una serie de indicadores bibliométricos y la consulta aalgunos de los principales rankings internacionales, en los sub-rankingspor subjects/fields, ya que permiten obtener un mayor conocimiento demuchas universidades de gran calidad, con unos resultados científicosexcelentes en algunas de sus áreas de actividad. Esta información, resultamás útil para los stakeholders, ya que les permite centrar sus interesesen aquellos aspectos más relevantes de cada universidad. Se ha trabajadoespecíficamente con fuentes consideradas por la comunidad académicay científica como de gran prestigio internacional y que son actualmentelos pilares para la evaluación de la calidad de la actividad investigadorade las universidades. Sin embargo, es evidente que no están exentas delimitaciones. En el caso de las bases de datos de publicaciones, el sesgotemático, idiomático y la infrarrepresentación de la producción dedeterminados países así como el tipo documental recogido por estasfuentes, debe tenerse en consideración a la hora de sacar conclusiones(Gómez-Caridad y Bordons-Gangas, 1996). En cuanto a los ránkings, sibien los tres seleccionados son los que han logrado mayor renombre yson reconocidos internacionalmente, también cuentan con importantescríticas por la escasa claridad con la que muchas veces se calculan oponderan los indicadores utilizados y por la dificultad de hacercomparables resultados obtenidos de instituciones muy diversas (Pussery Marginson, 2013). Para intentar superar estas críticas se ha trabajadocon múltiples indicadores evitando las ponderaciones (que puedenresultar subjetivas y poco transparentes) y así presentar una batería dedatos que brinden una visión amplia y variada sobre la visibilidad de laactividad investigadora en las universidades analizadas.

Los datos obtenidos muestran que 44 universidades españolas (másde la mitad del Sistema Universitario Español) tienen algún indicador devisibilidad. Entre ellas destacan la Universidad Autónoma de Barcelona,la Universidad de Barcelona; la Universidad Autónoma de Madrid, laComplutense de Madrid y la Universidad de Valencia. Estas universidadesson las más productivas de España por su volumen de publicaciones enWeb of Science y están entre las 10 primeras del Sistema Universitario porvolumen de profesorado (IUNE, 2016). Esto pone de manifiesto que sonlas grandes instituciones de educación superior las que destacan por su



187

capacidad y masa crítica aunque las pequeñas pueden mostrar resultadosde excelencia en campos disciplinares concretos.

Asimismo, son las universidades públicas las que cuentan conindicadores de visibilidad dado que únicamente dos instituciones(Universidad de Navarra y DEUSTO) son privadas. En este sentido, latipología institucional (publico/privado), en el caso español, estáíntimamente vinculada con la actividad de las universidades, siendo laspúblicas mucho más intensivas en investigación (Casani y otros, 2014).

Si se considera el tipo de indicador obtenido, los Highly cited papers

han sido los más frecuentes ya que casi todas las universidades tienen, almenos un documento altamente citado, mientras que la aparición en losránkings es el criterio más restrictivo. Esto se debe a que en el caso delos papers altamente citados, lo que se mide es la visibilidad (calidad,excelencia) a través de un documento, mientras que para estarposicionado en un ránking es necesario que la universidad en su conjuntocumpla criterios de prestigio, calidad, excelencia, etc. A pesar de losdiferentes niveles de análisis que involucra cada indicador, resultancomplementarios para la identificación de instituciones y áreas potentes.

Cada tipo de resultado, a su vez está más vinculado con unadeterminada área temática siendo los Higly cited papers muy abundantesen Ciencias Experimentales. Esto es lógico considerando que incluyepublicaciones de áreas de big science como la física, con alta colaboracióninternacional, citación e impacto. Por el contrario, las universidadesespañolas presentes en los ránkings muestran una tendencia a la actividaden Life Science & Medicine.

Con respecto a los resultados puntuales se observa que, si seconsideran los 200 papers más citados, destacan los firmados por laUniversidad de Barcelona en Computer Science, la Universidad de la IslasBaleares en Mathematics, la Universidad de Vigo en Environmental

Sciences, la Politécnica de Valencia en Computer Science la Pablo deOlavide en Multidisciplinary Sciences y la Universidad de Córdoba enEnvironmental Science.

De las universidades españolas que aparecen en los principalesrankings generales ARWU, QS y THE, 6 son coincidentes en los tres (UAB,UB, UAM, UPF, UCM y UPC), sin embargo, en los rankings deespecialidades el número de instituciones españolas se eleva. Muchas deellas destacan en algún campo mejorando su posición con respecto alranking general. Son especialmente relevantes, con posiciones inferioresa la 75 en ARWU: la Universidad de Granada en Computer Science, la



188



189

Autónoma de Madrid en Physics y en Mathematics, la de Santiago de

Compostela en Mathematics, la Politécnica de Valencia en Chemistry, la

Pompeu Fabra en Economics y la Universidad de Barcelona en Medicine.

En el ranking QS, con posiciones inferiores a las 50 se ubican: la

Universidad Politécnica de Cataluña en Engineering & technology, la

Pompeu Fabra, la Carlos III de Madrid y la Ramon Llul en Social Sciences,

la Complutense de Madrid y la Autónoma de Madrid en Life Science &

Medicine. En el ranking THE la posición más destacada es para la

Universidad Pompeu Fabra en Social Sciences en la posición 67.

A través del estudio de los rankings de especialidades se ha

comprobado que España muestra mejores posiciones en QS y en ARWU.

Estos resultados evidencian, por tanto, que el estudio de la visibilidad

basado únicamente en el impacto de las publicaciones (a través del FI en

JCR) puede resultar muy limitado ya que hay publicaciones puntuales con

alto impacto que no son representativas de la calidad o actividad

continuada de un grupo o departamento de prestigio.

Asimismo, el estudio a través de la presencia en rankings generales

tampoco resulta muy preciso. Autores como Cheng y Liu (2006) ya

trabajaron en la identificación de instituciones orientadas a disciplinas

concretas y, en un estudio más reciente, Bornmann y otros (2013b)

desarrollaron una aplicación web que mapea los centros de excelencia

de acuerdo a diferentes campos. Todas estas iniciativas ponen de

manifiesto la necesidad de evitar el uso de las clasificaciones mundiales

generales y se centran en el desarrollo de herramientas basadas en el

campo disciplinar (Robinson-García y Calero-Medina, 2014b).

En el contexto español, utilizar información basada en especialidades

puede resultar muy positivo ya que son muy pocas las universidades

españolas presentes en todos los rankings y, al considerarse

conjuntamente todos los campos, se dificulta la identificación de las

fortalezas de cada institución. Por el contrario los rankings de

especialidades dan una idea más precisa de la especialización general del

país y de la actividad de cada universidad y son más adecuados para

analizar el desempeño específico de las instituciones. En este sentido

también son valiosas y adquieren cada vez mayor relevancia las iniciativas

nacionales como el desarrollo de rankings y especialmente de

observatorios que han permitido contar con información variada y

comparable sobre todas las instituciones del Sistema Superior de

Educación (Sanz-Casado y otros, 2013; Casani y otros, 2014).



190

Conclusiones

Tras el trabajo planteado se mencionan algunas conclusiones generales:

n Las universidades son instituciones heterogéneas y los rankingsgenerales no reflejan las fortalezas de cada una.

n Se hace necesario utilizar una amplia batería de indicadores paradar cuenta de la diversidad y especialización de las instituciones deeducación superior.

n La tipología institucional (pública/privada) está vinculada con laorientación de la actividad de las universidades, siendo las públicasmás intensivas en investigación y por tanto, más visiblesinternacionalmente.

n Sólo 6 universidades españolas aparecen en los tres principalesránkings internacionales, sin embargo el número aumenta al estudiarlos ránkings temáticos.

n El uso de indicadores que permitan identificar la especializacióntemática de cada universidad resulta central para identificar lasfortalezas de cada institución.

n Avanzar en la definición de estrategias de análisis y evaluación dela actividad de investigación de las universidades es un tema centraldado el impacto que genera en la gestión de las instituciones deeducación superior y en la influencia que tendrá sobre la orientacióny el perfil de cada universidad.

Referencias bibliográficas6

Bornmann, L., Moya-Anegon, F. y Mutz, R. (2013a). Do universities or

research institutions with a specific profile have an advantage or a

(6) La bibliografía consultada intenta dar cuenta de los textos más pertinentes y relevantes relacionados conel tema analizado. Para ello se han seleccionado publicaciones en revistas de prestigio internacional(indexadas en Web of Science) relacionadas con el ámbito de la bibliometría, cienciometría y evaluación dela educación superior. Al ser la visibilidad de las universidades un tema de importancia reciente, se hanidentificado publicaciones actuales y que aporten una perspectiva relevante.. En una búsqueda realizadaen la base de datos Web of Science con los términos: “University Ranking”, “Rank* of Universit*”, “RankingAND “Higher education”, “Times Higher Eductation”, “QS Ranking”; “Shanghai Ranking”,”ARWU Ranking”;“ARWU”, “HEEACT ranking“; “Leiden ranking”; “SCImago institution ranking”, se ha observado que entrelos autores más productivos y citados de la disciplina aparecen gran parte de los autores mencionados eneste trabajo (Bornmann, Docampo, Torres-Salinas, Mood, van Raan, De Moya-Anegon, etc).

disadvantage in institutional rankings? A latent class analysis with data

from the SCImago Ranking. Journal of the American Society for

Information Science and Technology, DOI:10.1002/asi.22923

Bornmann, L., Stefaner, M., Moya-Anegon, F., y Mutz, R. (2013b). Ranking

and mapping of universities and research-focused institutions

worldwide based on highly-cited papers: A visualization of results from

multi-level models.Online Information Review. ArXiv:1212.0304.

Casani, F., De Filippo, D., García-Zorita, C. y Sanz-Casado, E. (2014). Public

versus private universities: assessment of research performance; case

study of the Spanish university system. Research Evaluation, 23(1), 48-

61

Cheng, Y. y Liu, N. C. (2006). A first approach to the classification of the

top 500 world universities by their disciplinary characteristics using

scientometrics..Scientometrics, 68(1), 135–150

De Filippo, D.; Casani, F.y Sanz-Casado, E. (2015). University excellence

initiatives in Spain, a possible strategy for optimising resources and

improving local performance. Technol. Forecast. Soc.

Change,.doi.org/10.1016/j.techfore.2015.05.008

Docampo, D. (2008). Rankings internacionales y calidad de los sistemas

universitarios. Revista de Educacion, número extraordinario, 149–176.

Gómez-Caridad, I. y Bordons-Gangas, M. (1996). Limitaciones en el uso

de los indicadores Bibliométricos para la evaluación científica. Política

Científica, 46: 21-26.

Harvey, L. (2008). Rankings on higher education institutions: A critical

review. Quality in Higher Education, 14(3), 187–207.

Moed, H. F. (2010). Measuring contextual citation impact of scientific

journals. Journal of Informetrics, 4(3), 381–422

Moed, H. F; Glänzel, W y Schmoch, U (Ed.) (2005) Handbook of

Quantitative Science and Technology Research. New York: Kluwer.

Pusser, B., Marginson, S. (2013). University Rankings in Critical

Perspective. The Journal of Higher Education, 84(4), 544-568 DOI:

10.1353/jhe.2013.0022

Robinson-García, N, Torres-Salinas, D., Delgado López-Cózar, E, y Herrera,

F. (2014a). An insight into the importance of national university

rankings in an international context: the case of the I-UGR rankings

of Spanish universities. Scientometrics,101(2),1309-1324

Robinson-García, N., Calero-Medina, C. (2014b). What do university

rankings by fields rank? Exploring discrepancies between the



191

organizational structure of universities and bibliometric classifications.

Scientometrics, 98(3), 1955-1970

Rauhvargers A. Global University Rankings and Their Impact. EUA, 2011

Rauhvargers, A. Global University Rankings and Their Impact II, EUA,

2013.

Sanz-Casado, E (Ed.) (2015). Guía de buenas prácticas para la

participación de las universidades españolas en los rankings

internacionales. Madrid: Ministerio de Educación, Cultura y Deporte.

Sanz-Casado, E., García-Zorita, C., Serrano-López, A., Efraín-García, P.y De

Filippo, D. (2013) Rankings nacionales elaborados a partir de múltiples

indicadores frente a los de índices sintéticos. Revista Española de

Documentación Científica, 36(3), DOI:

http://dx.doi.org/10.3989/redc.2013.3.1.023.

Thomson Reuters (2015). Essential Science Indicators

Tijssen, R. J. W., Visser, M. S., y van Leeuwen, T. N. (2002). Benchmarking

international scientific excellence: Are highly cited research papers an

appropriate frame of reference? Scientometrics, 54(3), 381–397. DOI:

10.1023/a:1016082432660

IUNE. Observatorio para el seguimiento de la actividad investigadora de

las universidades españolas, 2016. Accesible en: www.iune.es

van Raan, A. (2005). Fatal attraction: Conceptual and methodological

problems in the ranking of universities by bibliometrics methods.

Scientometrics, 62(1), 133–143.

Zhu, X., Wu, Q., Zheng, Y. Z. y Ma, X. (2004). Highly cited research papers

and the evaluation of a research university: A case study: Peking

University 1974–2003. Scientometrics, 60(2), 237–247.

DOI:10.1023/b:scie.0000027795.69665.09

Dirección de contacto: Laboratorio de Estudios Métricos de la Información(LEMI), Unidad Asociada al CSIC, Departamento de Biblioteconomía yDocumentación. Universidad Carlos III de Madrid. C/ Madrid 126, Getafe 28903,Madrid, España / Research Institute for Higher Education and Science INAECU(UC3M-UAM). Madrid, España E-mail: [email protected].



192

Anexo

Anexo I. Posición de las universidades españolas en el ranking QS por subject



193

Arts & Humanities 2015

Area Institución Rank mundial

Art & design UCM 51-100

UAM 151-200

UCM 151-200

UAH 151-200

UGR 151-200

USAL 151-200

UB 151-200

UNIZAR 201-250

UAB 201-250

UALI 251-300

English language & Literature

USC 251-300

UCM 51-100

UAM 101-150History

UB 151-200

UB 51-100

UAM 101-150

UCM 101-150

UPF 101-150

Linguistics

UGR 151-200

UC3M 51-100

UAB 51-100

UB 51-100

UAM 101-150

UGR 101-150

USAL 101-150

UAH 151-200

US 151-200

UNIZAR 201-250

USC 201-250

UPF 201-250

Modern languages

UALI 251-300

UB 48

UCM 51-100

UNAV 51-100

UAM 101-150

Philosophy

UV 151-200



194

Engineering &Technology 2015


Architecture UPC 22

UPM 51-100

Chemical Enginering UPV 101-150

UB 101-150

UAM 151-200

UCM 151-200

UAB 151-200

Civil & estructural Eng. UPC 35

UPM 51-100

UPV 101-150

Computer Sci UPC 51-100

UB 101-150

UPM 151-200

UC3M 151-200

UCM 151-200

UGR 201-250

UPV 251-300

Electric & Electronic Eng. UPC 51-100

UPM 101-150

UC3M 151-200

UPV 151-200

UAM 201-250

US 201-250

UAB 201-250

UB 201-250

UNIZAR 251-300

Mecanical,Aeronautical & Manufacturing Eng. UPM 101-150

UPC 151-200

UPV 201-300

UB 201-300



195

Life Science & Medicine 2015


Medicine UB 51-100

UAB 151-200

UAM 201-250

UNAV 201-250

UCM 251-300

UV 251-300

UGR 301-400

USAL 301-400

USC 301-400

UPF 301-400

Biological Sciences UB 101-150

UAB 151-200

UCM 201-250

UGR 251-300

UNAV 251-300

UV 251-300

UPF 251-300

Psychology UAM 101-150

UCM 101-150

UAB 101-150

UB 101-150

UGR 151-200

UV 151-200

Pharmacy & Pharmacology UB 51-100

UCM 101-150

UNAV 101-150

USAL 151-200

UAB 151-200

Agriculture & Forestry UPM 51-100

UPV 51-100

UAB 51-100

UAM 101-150

UCM 101-150

UCO 101-150

UB 101-150

UGR 151-200

UNIZAR 151-200

UV 151-200

Dentistry UCM 40

Veterinary Sciences UAB 23

UCM 50



196

Natural Science 2015


Physics & Astronomy UAM 51-100

UAB 51-100

UB 51-100

UCM 201-250

UGR 201-250

UV 251-300

UPC 251-300

UNIZAR 301-400

UPV 301-400

Mathematics UAB 51-100

UCM 101-150

UB 101-150

UPC 101-150

UAM 151-200

UGR 201-250

UPV 201-250

UPM 251-300

UC3M 251-300

US 301-400

UNIZAR 301-400

USC 301-400

Environmetal Sci UB 51-100

UAB 101-150

UCM 151-200

UAM 201-250

UPV 201-250

UPC 201-250

UGR 251-300

USC 251-300

Earth & Marine Sci UB 51-100

UCM 151-200

UAB 151-200

Chemistry UB 51-100

UAM 101-150

UCM 101-150

UAB 101-150

UNIZAR 251-300

UV 251-300

UGR 301-400

US 301-400

Material Science UAM 101-150

UB 101-150

UCM 151-200

Geography UAB 51-100

UB 51-100

UCM 101-150

UAM 151-200



197

Social Science 2015


Statitic & Operational Res UB 51-100

UPC 51-100

UC3M 101-150

UPV 101-150

UCM 151-200

UGR 151-200

US 151-200

UAB 151-200

Sociology UB 51-100

UCM 101-150

UAB 101-150

Politics & International Studies UCM 101-150

UAB 151-200

UB 151-200

UPF 151-200

Law UAM 51-100

UC3M 51-100

UCM 51-100

UNAV 101-150

UB 101-150

UPF 151-200

Economics & Econometry UPF 23

UC3M 38

UAB 51-100

UB 101-150

UAM 151-200

UCM 151-200

Accouting & Finance UNAV 51-100

UAM 101-150

UC3M 101-150

UCM 151-200

UAB 151-200

UB 151-200

UPF 151-200

Communication & Media Studies UCM 51-100

UNAV 51-100

UAB 51-100

UB 101-150

USAL 151-200

USAL 151-200

UPF 151-200

Education UB 51-100

UCM 101-150

UAB 101-150

UAM 151-200

UGR 151-200

Business and management URL 29

IE 51-100

UNAV 51-100

UC3M 151-200

UCM 151-200

ANEXO II. Listado de universidades



198

Abreviatura Universidad Tipo

CEU Universidad San Pablo CEU Privada

DEUSTO Universidad de Deusto Privada

EHU Universidad del PaísVasco Pública

IE IE University (Incluye SEK) Privada

MUNI Universidad de Mondragón Privada

NEBRIJA Universidad Antonio de Nebrija Privada

UA Universidad de Alicante Pública

UAB Universidad Autónoma de Barcelona Pública

UAH Univ Alcalá de Henares Pública

UAL Universidad de Almería Pública

UAM Universidad Autónoma de Madrid Pública

UAO Universitat Abat Oliba CEU Privada

UAX Universidad Alfonso X El Sabio Privada

UB Universidad de Barcelona Pública

UBU Universidad de Burgos Pública

UC3M Universidad Carlos III de Madrid Pública

UCA Universidad de Cádiz Pública

UCAM Universidad Católica San Antonio Privada

UCAVILA Universidad Católica Santa Teresa de Jesús de Avila Privada

UCHCEU Universidad Cardenal Herrera Privada

UCJC Universidad Camilo José Cela Privada

UCLM Universidad de Castilla-La Mancha Pública

UCM Universidad Complutense de Madrid Pública

UCO Universidad de Córdoba Pública

UCV Universidad Católica deValencia SanVicente Mártir Privada

UDC Universidad de A Coruña Pública

UDG Universidad de Girona Pública

UDIMA Universidad a Distancia de Madrid Privada

UDL Universidad de Lleida Pública

UEM Universidad Europea de Madrid Privada

UEMC Universidad Europea Miguel de Cervantes Privada

UFV Universidad Francisco deVitoria Privada

UGR Universidad de Granada Pública

UHU Universidad de Huelva Pública

UIB Universidad de las Illes Balears Pública

UJAEN Universidad de Jaén Pública

UJI Universidad Jaume I de Castellón Pública

ULL Universidad de La Laguna Pública

ULPGC Universidad de Las Palmas de Gran Canaria Pública

UM Universidad de Murcia Pública

UMA Universidad de Málaga Pública



199


UMCERVANTES Universidad Miguel de Cervantes Privada

UMH Universidad Miguel Hernández de Elche Pública

UNAV Universidad de Navarra (Privada) Privada

UNAVARRA Universidad Pública de Navarra Pública

UNED Universidad Nacional de Educación a Distancia Pública

UNEX Universidad de Extremadura Pública

UNICA Universidad Internacional de Catalunya Privada

UNICAN Universidad de Cantabria Pública

UNILEON Universidad de León Pública

UNIOVI Universidad de Oviedo Pública

UNIR Universidad Internacional de La Rioja Privada

UNIRIOJA Universidad de la Rioja Pública

UNIZAR Universidad de Zaragoza Pública

UOC Universidad Oberta de Catalunya Privada

UPC Universidad Politécnica de Catalunya Pública

UPCO Universidad Pontificia Comillas Privada

UPCT Universidad Politécnica de Cartagena Pública

UPF Universidad Pompeu Fabra Pública

UPM Universidad Politécnica de Madrid Pública

UPO Universidad Pablo de Olavide Pública

UPSA Universidad Pontificia de Salamanca Privada

UPV Universidad Politécnica deValencia Pública

URJC Universidad Rey Juan Carlos Pública

URL Universitat Ramon Llul Privada

URV Universidad Rovira iVirgili Pública

US Universidad de Sevilla Pública

USAL Universidad de Salamanca Pública

USC Universidad de Santiago de Compostela Pública

USJ Universidad San Jorge Privada

UV Universidad deValencia Pública

UVA Universidad deValladolid Pública

UVIC Universidad deVic Privada

UVIGO Universidad deVigo Pública

VIU Universidad InternacionalValenciana Privada

Indicators for the analysis of international visibility in Spanishuniversities1

Indicadores para el análisis de la visibilidad internacional delas universidades españolas

DOI: 10.4438/1988-592X-RE-2017-376-348

Daniela De Filippo

Andrés Pandiella-Dominique

Elías Sanz-Casado

Universidad Carlos III de Madrid

AbstractIn today’s globalising environment, visibility has become a pivotal asset for

higher education institutions to obtain material and human resources andenhance their prestige. Hence, their interest in having their achievements incertain fields are duly acknowledged. In this paper, we propose a pool of toolsand indicators to identify the most visible Spanish universities into theinternational scope, and their thematic strengths. Different sources of informationwere used: web of science, essential science indicators, and internationalrankings. Scientometric indicators of visibility were obtained: number of citationby institution and field, highly cited papers, hot cited papers, position of Spanishuniversities in international rankings. Considering the different thematicclassification of sources, an aggregation in 4 areas was maked and relationshipsbetween universities and their specialisations were drawn. 44 Spanish universitieshave some indicator of international visibility; the most frequent are highly citedpapers. 27 universities are in the rankings of specialties, most of them present in

Revista de Educación, 376. April-Jun 2017, pp. 157-192

Received: 26-06-2016 Accepted: 27-01-2017157

(1) The results were obtained during the development of the project “Creation of a Service of Support to thepublic universities for their participation in the international rankings” financed by the Ministry of Educa-tion, Culture and Sport

the QS ranking by subject. Greater specialization is given in ExperimentalSciences and universities with more visibility are Autonomus University of Madrid,University of Valencia and Autonomus University of Barcelona. This study showsthat the analysis of visibility based solely on the impact of publications or inposition, in general ranking of universities can be very limited. It is necessary toreach the level of sub-discipline and thus detect institutional strengths in eachspecific field.

Keywords: Higher education, international visibility, international rankings,Spanish universities, thematic specialisation, bibliometrics indicators

ResumenEn el actual contexto de globalización, la visibilidad internacional se ha

convertido en un activo fundamental para las instituciones de educación superior,ya sea para obtener recursos materiales y humanos como para mejorar suprestigio. De ahí el creciente interés, por parte de las universidades, en que suslogros en ciertos campos científicos sean debidamente reconocidos. Utilizandouna metodología cienciométrica, en este trabajo, se proponen una serie deherramientas e indicadores para identificar las universidades españolas másvisibles internacionalmente y detectar sus fortalezas temáticas. Se han utilizadocomo fuentes de información la base de datos de publicaciones Web of Science,los Essential Science Indicators de Thomson Reuters y los principales rankingsinternacionales de universidades. Se obtuvieron indicadores bibliométricos devisibilidad: número de citas por institución y área temática, número dedocumentos altamente citados (Highly cited papers y Hot cited papers) y posiciónde las universidades españolas en los rankings internacionales. Para unificar lasdiferentes clasificaciones temáticas en que cada fuente ofrece la información, seha realizado una agregación en 4 grandes áreas. Los principales resultadosmuestran que 44 universidades españolas presentan algún indicador devisibilidad internacional, siendo los más frecuentes los documentos altamentecitados. 27 universidades aparecen en los rankings de especialidades y es elránking QS por temas el que mejor muestra las áreas de especialización. CienciasExperimentales es el área de mayor especialización y las universidades con másvisibilidad en ella son la Universidad Autónoma de Madrid, la Universidad deValencia y la Universidad Autónoma de Barcelona. Este estudio muestra que elanálisis de visibilidad basado únicamente en el impacto de las publicacionespuede ser muy limitado y que el estudio de la presencia en rankings generalesno resulta muy preciso. Es necesario profundizar a nivel de sub-disciplina y asídetectar las fortalezas institucionales en cada área específica.

Palabras clave: Educación superior, visibilidad internacional, rankings deuniversidades, universidades españolas, especialización temática, indicadoresbibliométricos

De Filippo, D., Pandiella-Dominique, A., Sanz-Casado, E. InDICAtORS FOR thE AnAlySIS OF IntERnAtIOnAl vISIbIlIty In SPAnISh UnIvERSItIES






Introduction

Today’s universities face a dual challenge: on the one hand they need to

strengthen their bonds with other institutions to optimise resources and

mutually complement capacities, and on the other, they must raise their

international visibility to attract resources and establish their standing in

the world arena. Changing times require these institutions to build new

models to conduct and interpret scientific activity able to capitalise on

the results and all the resources available within their international sphere

of influence (De Filippo et al., 2015). Against this backdrop of change,

university visibility acquires growing importance. International visibility

helps universities to attract students, professors and reputed researchers

and to become a prominent partner with which foreign institutions decide

to collaborate to apply for joint projects in international competitions.

International visibility helps universities to attract students, professors

and reputed researchers and to become a prominent partner with which

foreign institutions decide to collaborate to apply for joint projects in

international competitions. Visibility, in a nutshell, translates into

recognition and resources (Docampo, 2008). Until very recently,

multidisciplinary institutions’ (such as universities, groups or institutes)

scientific activity (visibility included) was ordinarily assessed with

bibliometric indicators of the number of papers published in journals

listed in international databases such as Web of Science or Scopus (Moed,

2010). The number of papers involving international collaboration and

other indicators such as the percentage published in first quartile (Q1)

journals have also been used to measure visibility. As a rule, however,

researchers have tended to apply impact-related indicators, usually the

number of citations, although indicators such as highly cited or hot papers

are becoming increasingly popular. The reason is that the number of

highly cited papers is regarded as a good measure of an institution’s

reputation (Zhu et al., 2004) and its scientific contribution on an

international scale (Tijssen et al., 2002).

International university rankings have also proven to be a useful tool

for measuring visibility. Such rankings have had a substantial impact on

the academic world because their methodology, while not uncriticised

(van Raan, 2005; Harvey, 2008), is generally based on readily

understandable indicators common to all institutions, facilitating the

comparison of highly heterogeneous organisations.

Within the wide range of international university rankings, the so-

called League Tables are those that have acquired greater prestige and

those that have had a greater influence on the research policies of the

higher education centers: Academic Ranking of World Universities

(ARWU), QS World University Rankings (QS) and Times Higher Education

World Universities Rankings (THE). This is because they were the first to

appear, they use synthetic indicators that are easy to understand by all

agents involved and they evaluate a large group of universities around

the world based on indicators that not only take into account the research

but also include other university missions (Rauhvargers 2011; 2013). After

their appearance in 2003-2004, these global university classifications

shook academic institutions and since then the ARWU, THE and QS

Rankings have generated important positive consequences: they increase

the competitiveness among institutions, promote the measurement of the

academic performance of universities rather than reputation-based

assessment, allow the design of scientific policies aimed at improving the

ranking position, etc. (Sanz-Casado 2015).

Considering international rankings of universities, three of the best-

known university league tables are ARWU, QS and THE. Even when only

these three are used to determine an institution’s visibility, account must

be taken of the sub-rankings by fields and subjects that have been

established to surmount one of the major limitations of general rankings:

the inability to detect cross-disciplinary differences in performance (van

Raan, 2005; Robinson et al. 2014a).

The first ranking to include information by discipline was the Shanghai

listing, first with five major fields in 2007 and subsequently (in 2009) with

specific subjects. Since then, many others have followed suit, including

the THE, the QS and the National Taiwan University rankings. The CWTS

Leiden ranking is, at this writing, the last to adopt the practice, including

five major fields in its 2013 edition (Robinson-García and Calero-Medina,

2014b). Such discipline-oriented rankings furnish much more specific

information on each institution’s specialisation and help identify

institutions absent from the overall ranking but which are well positioned

and consequently highly visible in a given field.

Drawing from these two sources of information (publications and

rankings), this paper aims to identify the Spanish universities with

greatest international visibility and their specific areas of specialisation.







That information is used to determine the Spanish university system’s

main scientific poles of attraction within the international community.

Sources and methodology

Considering the importance that scientometric indicators has achieved in

recent decades as a methodology for the study and evaluation of the

research activity of institutions (Moed 2005), this study uses quantitative

indicators to analyze the visibility of universities. Since it is a question of

analyzing international visibility, sources of recognized prestige in this

field have been chosen and are among the most recognized and used in

the field of evaluation of the scientific activity of higher education

institutions

This study was conducted by stages, as follows.Identification of most cited universities: Essential Science Indicators from

Thomson Reuters (2015 edition) which provide information on the number

of publications in Web of Science and citations received by each institution

in the last decade (2005-2015) were used. The 500 most cited institutions

in the world have been detected and Spanish universities have been

identified. Citations received and citations per document (relative impact)

in the different thematic areas (22 areas InCITES)2 were collected. Relative

impact for each university was compared with the average of relative

impact of Spain, to identify institutions and specialties most relevant.Selection of most cited papers: Using Essential Science Indicators

(Thomson Reuters, 2015) highly cited papers (publications most cited in

10 years)3 were selected. Spanish universities signing the 200 most cited

papers were identified. Data were collected by thematic field (22 areas

InCITES) and the position for each university in world rank by citation

was calculated.

The Hot cited papers (publications with high citation in the last 2

years) were also obtained. Publications with more than 100 citations have

been considered and then, the documents signed by Spanish universities

in each subject (22 areas InCITES) were identified.

(2) Thematic classification used by the Essential Science Indicator is detailed in:http://incites.isiknowledge.com/common/help/h_field_category.html

(3) Red more about Highly cited papers from Thomson Reuters in: http://esi.webofknowledge.com/help/h_da-thic.htm




Detection of universities in international rankings: To complete the

information obtained from publications, it was consulted the 2015 edition

of the following rankings: ARWU, QS y THE. First, information about the

positions reached by all universities in each country in different subject

areas was obtained. Then Country-field/area correspondence analyses

were conducted with XLstat software to establish Spain’s international

standing versus the other countries with universities in the rankings. With

the obtained information from the rankings we elaborate indicators

positioning Spanish universities both in the general rankings as thematic

specialties (subject and field).

Aggregation in broad subject areas

Whereas information on publications is classified into 22 areas, it hasbeen aggregated into 4 broad areas to make it more comparable with theclassification of international rankings of universities. We have used theGIPP classification of Thomson Reuters in 6 fields4: Table I).

The most frequently aggregation system used by University rankings

is in 5 broad areas, but they use different classification systems to each

other. Therefore, to have a similar classification to GIPP areas, it has

unified rankings classification in 4: Engineering; Life Science & Medicine;

Experimental Science; Humanities & Social Science. Table II shows the

final correspondence between areas.

(4) The process followed by Thomson Reuter to obtain the Highly cited papers could be consulted at:http://esi.webofknowledge.com/help/h_dathic.htm

(5) Arts & Humanities; Clinical, Preclinical & Health; Engineering & Technology; Life Science; Physical Sciences;Social Sciences. Then they have joined the categories Social Science and Humanities with Arts & Life Sciencewith Clinical, Preclinical & Health

TAblE I. Aggregation of thematic categories (WoS Categories and GIPP)




Area GIPP WoS category

Engineering Acoustics;Automation & Control Systems; Computer Science; Construction & BuildingTechnology; Energy & Fuels; Engineering; Ergonomics; Imaging Science & PhotographicTechnology; Instruments & Instrumentation; Materials Science; Mechanics; Metallurgy &Metallurgical Engineering; Microscopy; Mining & Mineral Proce ssing; Nuclear Science &Technology; Operations Research & Management Science; Remote Sensing; Robotics;Telecommunications;Transportation

Life Science &Medicine

Agriculture;Agronomy;Anatomy & Morphology;Andrology; Behavioral Sciences;Biochemistry; Biodiversity Conservation; Biology; Biophysics; Biotechnology; Cell Biology;Ecology; Entomology; Environment; Fisheries; Forestry; Genetics; Horticulture;Immunology; Limnology; Marine & Freshwater Biology; Microbiology; Neuroscience;Ornithology; Paleontology; Parasitology; Physiology;Veterinary Science; Zoology.Allergy;Anesthesiology; Cardiac & Cardiovascular Systems; Clinical Neurology; CriticalCare Medicine; Dentistry; Dermatology; Emergency Medicine; Endocrinology & Metabolism;Gastroenterology & Hepatology; Geriatrics & Gerontology; Health Care Sciences &Services; Hematology; Infectious Diseases, Integrative & Complementary Medicine;Medicine, General & Internal; Nursing; Nutrition & Dietetics; Nursing; Obstetrics &Gynecology; Oncology; Ophthalm ology; Oncology; Orthopedics; Otorhinolaryngology;Pathology; Pediatrics; PeripheralVascular Disease; Pharmacology & Pharmacy; PrimaryHealth Care; Psychiatry; Public, Environmental & Occupational Health; Radiology;Rehabilitation; Respiratory System; Rhe umatology; Sport Sciences; Substance Abuse;Urology & Nephrology;Transplantation;Tropical Medicine; Urology & Nephrology

ExperimentalScience

Astronomy/Astrophysics; Chemistry; Crystallography; Electrochemistry; Geochemistry &Geophysics; Geography, Phy sical; Geology; Geosciences; Mathematics; Meteorology &Atmospheric Science; Mineralogy; Multidisciplinary Sciences; Nanoscience &Nanotechnology; Oceanography; Optics; Physics; Polymer Science; Spectroscopy; Statistics& Probability;Thermodynamics;Water Resources

Social Sciences& Humanities

Anthropology;Archaeology; Business; Communication; Criminology & Penology;Demography; Economics; Education; Environmental Studies; Ethics; Ethnic Studies;Geography; Gerontology; Health Policy & Services; History of Social Sciences, Hospitality,Leisure, Sport & Tourism; International Relations; Law; Management; Planning &Development; Political Science; Psychology; Public Administration; Social Issues; SocialWork; Sociology; Urban Studies;Women`s Studies.History & Philosophy of Science; Humanities; Language; Linguistics; Literature, MedievalStudies; Music; Philosophy; Poetry; Religion;Theater

TAblE II. Final thematics aggregation in 4 broad areas

Relationship between universities and thematic area of specialization:

With the collected information, a relationship between universities and

thematic specialization was obtained. This allows identify areas of greater

visibility in the Spanish Higher Education System and the most relevant

universities in each area. For visualization, RAW program was used6.

Figure I shows the process performed.




Normalized Área Area from sources Rank

SOC ARWU

Social Sciences and Management QS

Social Sciences THE

Arts and Humanities QS

Arts & Humanities THE

Arts & Humanities INCITE

Social Science & Humanities

Social Science INCITE

LIFE ARWU

Life sciences THE

MED ARWU

Life Sciences and Medicine QS

Clinical, Pre-clinical & Health THE

Clinical, Pre-Clinical & Health INCITE

Life Science & Medicine

Life Science INCITE

ENG ARWU

Engineering and Technology QS

Engineering and technology THE

Engineering &Technology

Engineering & Technology INCITE

SCI ARWU

Natural Scieces QS

Phisical Science THE

Experimental Science

Physical Sciences INCITES

(6) RAW is an open Access tool accessible in: http://raw.densitydesign.org

FIgurE I. Methodological steps developed

Results

Identification of most cited universities:

According to Essential Science Indicators, in the last 10 years (2005-2015),

six Spanish universities were listed among the 500 ‘most cited’ institutions:

University of Barcelona (UB), Autonomous University of Barcelona (UAB),

University of Valencia (UV), Autonomous University of Madrid (UAM),




Complutense University of Madrid (UCM) and University of Granada

(UGR).

A review of the impact values in the 22 ESI fields revealed where each

university excelled. University of Barcelona was the highest positioned

Spanish institution in seven, with particularly high values with respect to

the national mean in Computer Science. The Autonomous University of

Madrid was prominent in five areas, with a high impact in Chemistry,

while the University of Valencia was well placed in four, in particular

Materials Science.

Thematic aggregation in 4 broad areas, shows a high relative impact

(citation by document) of the University of Barcelona in Life Science with

an average much higher than Spain. In Experimental Science, the impact

of the University of Valencia is the most relevant, while in Engineering is

especially high the number of citations per document at the University of

Barcelona. Social Sciences is the field in which all universities have a

relative impact above average than Spain (Table III).

TAblE III. Citation by document of the Spanish universities at tOP 500 institution of the world

(2005-2015)

Source: formulated by the authors based on Essential Science Indicators (2015)

Most cited paper selection

Highly cited papers in Web of Science

Information on the Web of Science’s highly cited papers over the last

10 years can be gleaned from Essential Science Indicators. The University




Área UB UAB UV UAM UCM UGR ESPAÑA

LIFE 17,85 14,02 13,32 15,34 11,07 10,55 14,90

EXP 12,06 15,43 17,83 16,42 6,77 13,44 14,39

ENG 12,06 9,81 11,27 9,05 9,33 7,19 8,53

SOC 6,63 5,97 4,15 4,04 4,26 4,43 3,43

Total 16,61 13,65 14,37 15,05 10,98 10,86 12,41

of Vigo published the highest ranking Spanish paper, which appeared (in

the field Molecular Biology and Genetics; LIFE Area) on the list of the

world’s 200 most cited articles with a total of 3 901 citations. Spanish

universities with papers on that list are enumerated in Table IV, along

with the field of research, the worldwide position by number of citations

and the number of citations received by the highest ranking paper in the

field. The University of Granada ranked highly for four articles in Physics

(EXPERIMENTAL Area), which was, moreover, the field of research with

the highest concentration of highly cited Spanish papers.

TAblE IV. top Spanish universities’ highly cited papers in all fields of research (tOP 200

institution in the world)


An in-depth analysis of the fields revealed specialisation strengths.

Computer Science, Environmental Science, Multidisciplinary Science and

Physics were the fields with the largest number of Spanish universities

accredited with the authorship of highly cited articles. By institutions, the




Rank in

SpainUniversity

N citations

recibedArea Area InCite

Rank in

theWord

Max citation

in the area

1 UVIGO 3901 LIFE Molecular Biology & Genetic 55 18635



3 UB 3383 ENG Computer Science 6 9344








7 UV 3114 EXP Physics 106 15048



9 UAM 2404 EXP Chemistry 177 39341

9 UMU 2404 EXP Chemistry 177 39341

University of Barcelona stood out with a paper in Computer Science that

was the sixth most cited worldwide. Papers with Polytechnic University

of Valencia and Granada University authorship in Physics ranked ninth

worldwide. Figure II shows the area of specialization of each university

indicating its position through the size and color of the circles (dark

colors and large circles = best positions).

FIgurE II. highly cited papers from the Spanish universities best positioned in each area

(articles of the tOP 200 institutions of the world by citation.


Hot cited papers in web of science

Hot cited papers are articles receiving a large number of citations in the

last 2 years since its publication. Table V lists the hot cited paper (with

more than 100 citations) from Spanish universities. Considering the 31

hot cited papers detected, Life Science is the abroad area with higher

number of papers. Clinical Medicine and Physics were the fields with the

largest number of hot cited papers authored by Spanish universities,




although the articles in question were often written in collaboration

between universities. One article from Autonomous University of Madrid

ranked first worldwide in Plant & Animal Science and another authored

by Barcelona University (Clinical Medicine), ranked fifth.

TAblE V. top Spanish universities’ hot cited papers in all fields of research (papers with >100

citations)





Rank en

EspañaUniversidad

N de citas

recibidasArea Area InCite

Rank en el

mundo

Maxima

citación en

el área




2 UNAVARRA 445 LIFE Clinical medicine 7 3089

2 URV 445 LIFE Clinical medicine 7 3089

2 UMA 445 LIFE Clinical medicine 7 3089

2 ULPGC 445 LIFE Clinical medicine 7 3089





11 UNIOVI 209 LIFE Molecular Biology 6 524

15 UAM 160 LIFE Plant & Animal Sciences 1 160




21 UNIOVI 142 LIFE Clinical medicine 68 3089

22 UB 142 LIFE Neuroscience 6 333

22 UAB 142 LIFE Neuroscience 6 333


25 UNIALI 131 EXP Chemistry 35 641


26 UAM 127 EXP Physics 19 303



29 UDG 103 LIFE Environment / Ecology 7 202


When the data are broken down by sub-areas, it is observed in more

detail what the best positions reached for Spanish universities. Figure III

shows the documents from Spanish universities with more than 100

citations in each area. The best position reaches by the paper considering

the InCITE area is presented and their position is represented by the size

and color of the circles.

FIgurE III. hot cited papers from Spanish university by InCItES area (papers with >100 citations)


Detection of universities in international rankings:

Ranking ARWU

Thirteen Spanish universities were listed among the top 500 in the 2015

edition of the Shanghai ranking. The University of Barcelona ranked

highest, between places 151 and 200. Although Spain placed a fairly small

number of institutions in the general ranking, when analysed by field and

subject, up to 18 were identified.

In the country classification by field, Spain was 14th by number of

universities among the top 200, with four in Science (SCI), four in Social

Sciences (SOC), three each in Engineering (ENG) and Life Sciences (LIFE)

and two in Medicine (MED).




This information can be used to analyse university systems’

specialisation. Figure 5 shows the correspondence analysis for countries

and fields based on the presence of their universities in field rankings.

Social Sciences (top) and the Natural Sciences and Mathematics (bottom)

are distributed along the vertical axis and the Life and Agricultural

Sciences and Medicine (left) and Engineering/Technology (right) along

the horizontal axis. Spain is located at the centre of the map, for it has

universities in all the field rankings. Judging from the position occupied,

the Spanish university system is specialised in much the same way as

Sweden’s, Australia’s and Belgium’s, with a balanced distribution among

the various fields.

FIgurE IV. Distribution by field of national systems hosting the world’s top 200 universities

(ARWU, 2015)

The field and subject analysis of the Spanish university system detected

a larger number of institutions, affording the country a better position

than in the general ranking. It also identified each university’s

specialisation. In the field ranking (covering the top 200 universities), the

University of Barcelona ranked highest, in the 51st-75th place range in

Medicine, followed by the Autonomous University of Madrid, in 76th-100th




place in Science. In the subject ranking, the University of Granada ranked

42nd in Computer Science, with the Autonomous University of Madrid, the

University of Santiago de Compostela and Pompeu Fabra University

respectively taking from 51st to 75th place in Physics and Mathematics,

Mathematics and Economics. Mathematics and Computer Science were

the subjects with the densest cluster of universities (Table VI).

TAblE VI. Spanish universities’ positions in ARWU (2015) field and subject rankings

Source: formulated by the authors from ARWU (2015) data

Ranking QS

Twelve Spanish universities were listed in the 2015 edition of the QS top

500. The highest-ranking institution was the University of Barcelona,




General

(500)Field (200 univ) Subject (200)

InstituciónRank

MundialMED SOC SCI LIFE ENG MATH CHEM COMP ECON PHYS

UB 151-200 51-75 151-200 151-200 151-200 X X 101-150 X X 151-200

UAB 201-300 151-200 X X 151-200 X 101-150 151-200 151-200 151-200 X

UAM 201-300 X X 76-100 151-200 X 51-75 151-200 X X 51-75

UCM 201-300 X X X X X 101-150 151-200 X X X

UPF 201-300 X 101-150 X X X X X 151-200 51-75 X

UV 301-400 X X 151-200 X X X 101-150 X X 76-100

UPV 301-400 X X X X 151-200 76-100 76-100 101-150 X X

UGR 301-400 X X X X 101-150 101-150 X 42 X X

UPC 401-500 X X X X 101-150 X X 101-150 X X

USC 401-500 X X 151-200 X X 76-100 X X X X

EHU 401-500 X X X X X 101-150 X X X X

UNIZAR 401-500 X X X X X X 76-100 X X

US 401-500 X X X X X 101-150 X X X X

UC3M X X X X X X X X 151-200 101-150 X

UJAEN X X X X X X X X 51-75 X X

UPM X X X X X 151-200 X X 101-150 X X

UAL X X X X X X X 151-200 X X X

URiV X X X X X X X 151-200 101-150 X X


which took 166th place, although the country’s universities were

substantially better positioned in the faculty area rankings. The largest

number (7) were in Social Sciences, followed by Natural Science and Arts

& Humanities (5 each). According to the profiles in Figure V based on

that distribution, Spanish universities specialised in much the same areas

as their counterparts in Singapore, Australia and United Kingdom.

FIgurE V. Distribution by faculty area of national systems hosting the world’s top 200

universities (QS, 2015)

At the institutional level, while no Spanish university was among the

top 150 in the QS general ranking, the Polytechnic University of Catalonia

took 92nd place in Engineering & Technology. Three institutions were

among the 150 highest ranking universities in Arts & Humanities:

University of Barcelona, Complutense University of Madrid and

Autonomous University of Madrid. Just one Spanish university (UB) was

among the top 150 in Life Science & Medicine, while three (UB, UAB,

UC3M) were so placed in Natural Science and four (UB, UAB, UPF and

UC3M) in Social Sciences. In the ranking by subject, the situation

improved considerably, with Pompeu Fabra University in 23rd place in

Economics & Econometrics (Social Science), Ramón Llull University in




29th (Business & Management, also Social Science) and Carlos III

University in 38th, likewise in Economics & Econometrics.

Table VII shows the position of universities in the general ranking and

the best positions reached by each university in the rankings by field and

subject. Since the classification by subject includes 32 disciplinary

categories, only the top aggregation is mentioned, while the detail of the

specific subject in which each university positions shown in Annex.

TAblE VII. Spanish universities’ positions in QS (2015) rankings by faculty area and subject

(pooled by faculty area)





General

(500)Fields (400 univ) Subject (200)

InstituciónRank

Mundial

ARTS

& HUM

ENG &

TECH

Life

SCI &

MED

NATUR

SCI

SOC

SCI

ARTS

& HUM

ENG &

TECH

Life

SCI &

MED

NATUR

SCI

SOCIAL

SCI

UB 166 98 104 87 62 129 48 101-150 51-100 51-100 51-100

UAB 190 164 227 164 128 140 51-100 151-200 23 51-100 51-100

UAM 186 149 234 228 103 183 101-150 151-200 150 51-100 51-100

UCM 226 103 240 236 175 174 51-100 151-200 40 101-150 51-100

UNAV 265 280 X 321 X 155 51-100 X 101-150 X 51-100

UPF 295 235 X X X 119 101-150 X 251-300 X 23

UPC 299 385 82 X 272 X X 22 X 101-150 51-100

UC3M 314 389 244 X X 141 51-100 151-200 X 251-300 38

UPM 461-470 X 130 X X X X 51-100 51-100 251-300 X

UPV 410-420 X 160 X 198 X X 101-150 51-100 201-250 101-150

UGR 461-470 220 X 355 349 397 101-150 201-250 151-200 201-250 151-200

UNIZAR 491-500 X 387 X 349 X 201-250 251-300 151-200 251-300 X

USAL 481-490 216 X X X X 101-150 X 151-200 X 151-200

UV X 385 X 351 239 360 151-200 X 151-200 X X

URLL X X X X X 198 X X X X 29

US X 305 374 X X X 151-200 201-250 X 301-400 151-200

IE X X X X X X X X X X 51-100

Ranking THE

The Times Higher Education ranking listed 800 universities in its general

edition for 2015-2016. The list included 25 Spanish institutions, the

highest ranking being the Autonomous University of Barcelona,

positioned 146th. Nine Spanish universities were among the top 500.

The 2014-2015 edition (at this writing, the 2015-2016 ranking by

subject had not been released) covered six subjects, which listed the top

100 institutions in each. Overall, Spain ranked 22nd worldwide with a very

small presence in each subject: two universities in Arts & Humanities, one

in Clinical Medicine and one in Social Science

The correspondence analysis conducted with the above information

placed Spain in the Arts & Humanities and Social Sciences quadrant.

Universities in New Zealand, Netherlands and Hong Kong had similar

profiles (Figure VI).

FIgurE VI. Distribution of national university systems by subject (thE, 2015)




A total of only four Spanish universities were among the top 100 by

subject, in Arts & Humanities, Social Sciences and Clinical & Preclinical

Health. Pompeu Fabra University was positioned the highest (67 in Social

Science). Table VIII shows the position of each university in the general

ranking and the best position reached in each field.

TAblE VIII. Spanish university positions in the times higher Education (thE) ranking

(2014-2015)


Overview of visibility from different sources

Further to the indicators drawn from the sources analysed, 44 Spanish

universities had at least one visibility indicator, mostly in connection with

papers cited, while 26 institutions were present in rankings by field or

subject. The institutions with greatest visibility (based on publication

indicators and rankings both) were the Autonomous University of

Barcelona, the University of Barcelona, the Autonomous University of

Madrid and Complutense University (Table IX).




General (2015) Field (2015-2016)

InstituciónRánking mundial ATS & HUM SOCIAL SCI

CLINICAL,

PRECLIN &

HEALTH

UAB 146 X X X

UPF 164 X 67 X

UB 174 X X 76

UAM 301-350 90 X X

UNAV 301-350 X X X

UV 401-500 X X X

UCM 401-500 87 X X

UPC 401-500 X X X

URV 401-500 x x x

TAblE IX. Frequency of appearance of Spanish universities among the top 200 (most cited

papers and in rankings)

note: In the glossary the extended names of all universities is presented




Essential Science Indicators Ranking ARWU Ranking QSRanking

THE

Universidad HIGHGLYCITED

PAPERS

HOT CITEDPAPERS

FIELD SUBJECT FIELD SUBJECT SUBJECT

Total

UAB 10 6 3 4 5 22 1 51

UB 8 5 4 2 5 25 1 50

UAM 9 2 2 3 5 18 0 39

UCM 4 0 0 2 5 21 1 33

UV 7 4 1 3 4 8 0 27

UPF 10 0 1 2 2 7 1 23

UGR 7 1 1 2 4 6 0 21

UPV 6 0 2 0 2 8 0 18

UPC 2 0 1 2 3 7 0 15

UNIZAR 4 1 0 2 2 5 0 14

UC3M 1 0 0 2 3 6 0 12

US 3 0 0 1 2 6 0 12

USAL 4 0 0 0 1 7 0 12

USC 4 0 1 2 0 4 0 11

UNAV 2 1 0 0 3 4 0 10

UNIOVI 7 2 0 1 0 0 0 10

UPM 1 0 0 1 1 5 0 8

UIB 5 0 0 2 0 0 0 7

UVIGO 6 0 0 0 0 0 0 6

EHU 3 0 0 1 0 0 0 4

UA 3 0 0 1 0 0 0 4

UAL 3 1 0 0 0 0 0 4

UM 2 1 0 0 0 1 0 4

URV 2 1 0 1 0 0 0 4

UJI 0 3 0 0 0 0 0 3

ULL 3 0 0 0 0 0 0 3

UCO 2 0 0 0 0 0 0 2

UHU 0 0 0 2 0 0 0 2

UJAEN 1 0 0 1 0 0 0 2

UNAVARRA 0 2 0 0 0 0 0 2

UNICAN 2 0 0 0 0 0 0 2

UPO 1 1 0 0 0 0 0 2

URJC 2 0 0 0 0 0 0 2

DEUSTO 1 0 0 0 0 0 0 1

UCLM 1 0 0 0 0 0 0 1

UDC 1 0 0 0 0 0 0 1

UDG 0 1 0 0 0 0 0 1

UDL 0 1 0 0 0 0 0 1

ULPGC 0 1 0 0 0 0 0 1

UMA 1 0 0 0 0 0 0 1

UMH 1 0 0 0 0 0 0 1

UNEX 1 0 0 0 0 0 0 1

URL 0 0 0 0 1 0 0 1

UVA 0 0 0 1 0 0 0 1Fuente: elaboración propia

Considering the type of source and area, it can be seen that the highly

cited papers are mainly of Experimental Science, while in the Hot cited

papers and in the rankings, Life & Medicine is the most important area

(Figure VII).

FIgurE VII. Spanish visibility by source and area

After identifying the indicators of visibility for each university and their

subject area, it is possible to detect the relationship between universities

and areas. Experimental Science is the field where the best Spanish

universities are positioned, with the Autonomous University of Madrid,

Valencia and Autonomous University of Barcelona on the first positions.

In Life Science & Medicine the University of Barcelona has the higher

visibility, while in Social Science highlights the Autonomous University

of Barcelona and in Engineering the universities of Vigo, Granada and

the polytechnics. Figure VIII shows universities with greater visibility

(frequency> 1) identifying the area. The thickness of the line is

proportional to the total frequency of visibility to each institution.




FIgurE VIII. Universities with high international visibility by subject area

Discussion of results

The conclusions drawn from the data obtained in this study may prove

to be very useful for university system stakeholders, such as academic

department heads, policymakers, professors, researchers and students.

The findings showed that as universities are very heterogeneous, general

rankings do not suitably reflect their strengths. A number of factors

determine certain universities’ high positions in general rankings, thereby

masking speciality-driven research and teaching. It is therefore essential

to identify universities with similar disciplinary approaches to compare

and interpret such comparisons. Furthermore, global comparisons can

harm certain types of institutions and influence their positioning as was

mentioned by Bornmann et al. (2013a).

To avoid such pitfalls, this study drew from a series of bibliometrics

indicators and the rankings by field provided by the major international

university classifications to identify high quality universities with excellent




scientific results in certain areas of activity. This type of information is

much more useful for stakeholders, as it allows them to focus on each

university’s most prominent characteristics.

It has worked specifically with reliable and prestigious sources.

However, it is clear that they are not without limitations. In the case of

publications databases, the thematic and linguistic bias and the

underrepresentation of the production of certain countries as well as the

documentary type collected by these sources must be taken into account

when drawing conclusions (Gómez-Caridad and Bordons-Gangas, 1996).

Regarding university rankings, although the three selected are the ones

that have achieved greater renown and are internationally recognized,

they are also criticized for the poor clarity with which they are often

calculated or weighted the indicators used and the difficulty of doing

comparable results obtained from very different institutions (Pusser and

Marginson, 2013). In order to overcome these criticisms, we have worked

with multiple indicators avoiding weightings (which may be subjective

and not transparent) and thus present a battery of data that provide a

broad and varied view on the visibility of research activity in the analyzed

universities.

The data gathered showed that 44 Spanish universities (more than 50%

of the Spanish Higher Education System) have visibility indicators. Most

relevant are Autonomous University of Barcelona, University of Barcelona,

Autonomous University of Madrid, Complutense University of Madrid and

University of Valencia. These universities are the most productive in Spain

considering number of Web of Science papers (IUNE, 2016). This shows

that are great institutions of higher education which stand out for their

capacity and critical mass, although smaller universities can excel in

certain specialties, and this is what is observed in most other universities

analyzed.

In addition, public universities are those with visibility indicators since

only two institutions (University of Navarra and DEUSTO) are private. In

this sense, institutional type (public / private), in the Spanish case, is

closely linked to activity of universities, public still much more research-

intensive (Casani et al: 2014).

Considering the type of indicator obtained, the highly cited papers are

most frequent since almost all universities have at least one highly cited

document, while the appearance in the overall rankings is the most

restrictive criteria. This is because in the case of highly cited papers what




is measured is the visibility (quality, excellence) through a document,

while to be positioned in a general ranking is necessary for the university

as a whole meets criteria prestige, quality, excellence, etc. Despite the

different levels of analysis of each indicator, these are complementary to

identify institutions and areas that are more active.

Each type of result in turn is more related to a particular subject area

being abundant the highly cited papers in Experimental Sciences. This is

logical considering that this area includes publications of Big Science

areas such as physics, with high international collaboration, citation and

impact. By contrast, the Spanish universities in the rankings show a more

active trend in Life Science & Medicine

Analyzing each source of income we can see that between the

institution with the 200 most cited papers, the most prominent were the

University of Barcelona in computer science, the University of the Balearic

Isles in mathematics, the University of Vigo in environmental science, the

Technical University of Valencia in computer science, Pablo Olavide

University in multi-disciplinary science and the University of Cordoba in

environmental science.

Six Spanish universities (UAB, UB, UAM, UPF, UCM and UPC) were

listed on all three major general rankings, ARWU, QS and THE. A total of

24 universities were listed on the rankings by field or subject, however.

Many of these were ranked much higher in their field of specialisation

than on the general listing. The following institutions ranked at higher

than 75th place on the ARWU rankings: the University of Granada in

Computer Science, the Autonomous University of Madrid in Physics and

Mathematics, the University of Santiago de Compostela in Mathematics,

the Technical University of Valencia in Chemistry, Pompeu Fabra

University in Economics and the University of Barcelona in Medicine. The

universities in better than 50th place on the QS ranking included the

Polytechnic University of Catalonia in Engineering & Technology, Pompeu

Fabra University, Carlos III University of Madrid and Ramón Llull

University in Social Sciences, and Complutense and Autonomous

Universities of Madrid in Life Science & Medicine. The highest rank (67th

place) on the THE listing was obtained by Pompeu Fabra University in

Social Sciences. This study of ranking by specialisation showed that Spain

was better positioned on the QS and ARWU rankings.

These findings indicate that visibility studies based solely on the

impact of publications may prove to be very limited, inasmuch as a single







sporadic publication may have a very high impact but not necessarily be

representative of the ongoing quality of a reputed research group or

university department.

Nor are studies that use the presence in general rankings very precise.

Authors such as Cheng and Liu (2006) classified organisations on the

grounds of specific disciplines and in a more recent study, Bornmann et

al. (2013b) developed a web application that maps institutions of

excellence by field. Such initiatives attest to the need to circumvent

general worldwide classifications and focus on the development of field-

geared tools (Robinson-García and Calero-Medina 2014b).

In Spain, using specialisation-based information may prove to be

beneficial, for very few Spanish universities are listed on all rankings and

the use of pooled fields hampers the identification of each institution’s

strengths. As field rankings, on the contrary, afford a more precise view

of the country’s specialisation as a whole and of each university’s focus,

they are better suited to analysing institutions’ specific performance.

National initiatives such as the development of domestic rankings and

the creation of science watches are of particular interest and growing

relevance, insofar as they furnish varied and comparable information on

the Spanish higher education system at large (Sanz-Casado et al. 2013;

Casani et al. 2014).

Conclusions

Following the work presented, some general conclusions are mentioned:

n Universities are heterogeneous institutions and overall rankings do

not reflect them strengths.

n It is necessary to use a wide battery of indicators to account for the

diversity and specialization of higher education institutions.

n The institutional typology (public / private) is linked to the

orientation of the activity of the universities, being the public ones

more intensive in research and therefore, more visible

internationally.

n Only 6 Spanish universities appear in the three main international

rankings, however the number increases when studying thematic

rankings.

n The use of indicators to identify the thematic specialization of each

university is central to identifying the strengths of each institution.n Advancing the definition of strategies for analysis and evaluation of

university research activity is a central issue given the impact it has

on the management of higher education institutions and on the

influence they will have on the orientation and profile of higher

education institutions.

References7

Bornmann, L., Moya-Anegon, F. y Mutz, R. (2013a). Do universities or

research institutions with a specific profile have an advantage or a

disadvantage in institutional rankings? A latent class analysis with data

from the SCImago Ranking. Journal of the American Society for

Information Science and Technology, DOI:10.1002/asi.22923

Bornmann, L., Stefaner, M., Moya-Anegon, F., y Mutz, R. (2013b). Ranking

and mapping of universities and research-focused institutions

worldwide based on highly-cited papers: A visualization of results from

multi-level models.Online Information Review. ArXiv:1212.0304.

Casani, F., De Filippo, D., García-Zorita, C. y Sanz-Casado, E. (2014). Public

versus private universities: assessment of research performance; case

study of the Spanish university system. Research Evaluation, 23(1), 48-

61

Cheng, Y. y Liu, N. C. (2006). A first approach to the classification of the

top 500 world universities by their disciplinary characteristics using

scientometrics..Scientometrics, 68(1), 135–150




(7) The bibliography consulted tries to give an account of the most relevant texts related to the topic analyzed.For this purpose, publications in journals of international prestige (indexed in the Web of Science) relatedto the field of bibliometry, scientometry and evaluation of higher education have been selected. Since thevisibility of universities is a subject of recent importance, current publications have been identified andprovide a relevant perspective. Although many of the authors cited are clear references in the field ofHigher Education evaluation and evaluation through science and technology indicators. In a searchconducted in the Web of Science database with the terms “University Ranking”, “Rank * of Universit *”,“Ranking AND” Higher education “,” Times Higher Education “,” QS Ranking “; “Shanghai Ranking”, “ARWURanking”, “ARWU”, “HEEACT ranking”; “Leiden ranking”; “SCImago institution ranking”, it has beenobserved that among the most productive and cited authors of the discipline, most of the authors mentionedin this study (Bornmann, Docampo, Torres-Salinas, Mood, van Raan, De Moya-Anegon, etc).

De Filippo, D.; Casani, F.y Sanz-Casado, E. (2015). University excellence

initiatives in Spain, a possible strategy for optimising resources and

improving local performance. Technol. Forecast. Soc.

Change,.doi.org/10.1016/j.techfore.2015.05.008

Docampo, D. (2008). Rankings internacionales y calidad de los sistemas

universitarios. Revista de Educacion, número extraordinario, 149–176.

Gómez-Caridad, I. y Bordons-Gangas, M. (1996). Limitaciones en el uso

de los indicadores Bibliométricos para la evaluación científica. Política

Científica, 46: 21-26.

Harvey, L. (2008). Rankings on higher education institutions: A critical

review. Quality in Higher Education, 14(3), 187–207.

Moed, H. F. (2010). Measuring contextual citation impact of scientific

journals. Journal of Informetrics, 4(3), 381–422

Moed, H. F; Glänzel, W y Schmoch, U (Ed.) (2005) Handbook of

Quantitative Science and Technology Research. New York: Kluwer.

Pusser, B., Marginson, S. (2013). University Rankings in Critical

Perspective. The Journal of Higher Education, 84(4), 544-568 DOI:

10.1353/jhe.2013.0022

Robinson-García, N, Torres-Salinas, D., Delgado López-Cózar, E, y Herrera,

F. (2014a). An insight into the importance of national university

rankings in an international context: the case of the I-UGR rankings

of Spanish universities. Scientometrics,101(2),1309-1324

Robinson-García, N., Calero-Medina, C. (2014b). What do university

rankings by fields rank? Exploring discrepancies between the

organizational structure of universities and bibliometric classifications.

Scientometrics, 98(3), 1955-1970

Rauhvargers A. Global University Rankings and Their Impact. EUA, 2011

Rauhvargers, A. Global University Rankings and Their Impact II, EUA,

2013.

Sanz-Casado, E (Ed.) (2015). Guía de buenas prácticas para la

participación de las universidades españolas en los rankings

internacionales. Madrid: Ministerio de Educación, Cultura y Deporte.

Sanz-Casado, E., García-Zorita, C., Serrano-López, A., Efraín-García, P.y De

Filippo, D. (2013) Rankings nacionales elaborados a partir de múltiples

indicadores frente a los de índices sintéticos. Revista Española de

Documentación Científica, 36(3), DOI:

http://dx.doi.org/10.3989/redc.2013.3.1.023.

Thomson Reuters (2015). Essential Science Indicators




Tijssen, R. J. W., Visser, M. S., y van Leeuwen, T. N. (2002). Benchmarking

international scientific excellence: Are highly cited research papers an

appropriate frame of reference? Scientometrics, 54(3), 381–397. DOI:

10.1023/a:1016082432660

IUNE. Observatorio para el seguimiento de la actividad investigadora de

las universidades españolas, 2016. Accesible en: www.iune.es

van Raan, A. (2005). Fatal attraction: Conceptual and methodological

problems in the ranking of universities by bibliometrics methods.

Scientometrics, 62(1), 133–143.

Zhu, X., Wu, Q., Zheng, Y. Z. y Ma, X. (2004). Highly cited research papers

and the evaluation of a research university: A case study: Peking

University 1974–2003. Scientometrics, 60(2), 237–247.

DOI:10.1023/b:scie.0000027795.69665.09

Contact address: Laboratorio de Estudios Métricos de la Información (LEMI),Unidad Asociada al CSIC, Departamento de Biblioteconomía y Documentación.Universidad Carlos III de Madrid. C/ Madrid 126, Getafe 28903, Madrid, España/ Research Institute for Higher Education and Science INAECU (UC3M-UAM). Madrid, España E-mail: [email protected].




Annex

Annex I. Position of Spanish universities in the QS ranking by subject




Arts & Humanities 2015


Art & design UCM 51-100

UAM 151-200

UCM 151-200

UAH 151-200

UGR 151-200

USAL 151-200

UB 151-200

UNIZAR 201-250

UAB 201-250

UALI 251-300

English language & Literature

USC 251-300

UCM 51-100

UAM 101-150History

UB 151-200

UB 51-100

UAM 101-150

UCM 101-150

UPF 101-150

Linguistics

UGR 151-200

UC3M 51-100

UAB 51-100

UB 51-100

UAM 101-150

UGR 101-150

USAL 101-150

UAH 151-200

US 151-200

UNIZAR 201-250

USC 201-250

UPF 201-250

Modern languages

UALI 251-300

UB 48

UCM 51-100

UNAV 51-100

UAM 101-150

Philosophy

UV 151-200




Engineering &Technology 2015


Architecture UPC 22

UPM 51-100

Chemical Enginering UPV 101-150

UB 101-150

UAM 151-200

UCM 151-200

UAB 151-200

Civil & estructural Eng. UPC 35

UPM 51-100

UPV 101-150

Computer Sci UPC 51-100

UB 101-150

UPM 151-200

UC3M 151-200

UCM 151-200

UGR 201-250

UPV 251-300

Electric & Electronic Eng. UPC 51-100

UPM 101-150

UC3M 151-200

UPV 151-200

UAM 201-250

US 201-250

UAB 201-250

UB 201-250

UNIZAR 251-300

Mecanical,Aeronautical & Manufacturing Eng. UPM 101-150

UPC 151-200

UPV 201-300

UB 201-300




Life Science & Medicine 2015


Medicine UB 51-100

UAB 151-200

UAM 201-250

UNAV 201-250

UCM 251-300

UV 251-300

UGR 301-400

USAL 301-400

USC 301-400

UPF 301-400

Biological Sciences UB 101-150

UAB 151-200

UCM 201-250

UGR 251-300

UNAV 251-300

UV 251-300

UPF 251-300

Psychology UAM 101-150

UCM 101-150

UAB 101-150

UB 101-150

UGR 151-200

UV 151-200

Pharmacy & Pharmacology UB 51-100

UCM 101-150

UNAV 101-150

USAL 151-200

UAB 151-200

Agriculture & Forestry UPM 51-100

UPV 51-100

UAB 51-100

UAM 101-150

UCM 101-150

UCO 101-150

UB 101-150

UGR 151-200

UNIZAR 151-200

UV 151-200

Dentistry UCM 40

Veterinary Sciences UAB 23

UCM 50




Natural Science 2015


Physics & Astronomy UAM 51-100

UAB 51-100

UB 51-100

UCM 201-250

UGR 201-250

UV 251-300

UPC 251-300

UNIZAR 301-400

UPV 301-400

Mathematics UAB 51-100

UCM 101-150

UB 101-150

UPC 101-150

UAM 151-200

UGR 201-250

UPV 201-250

UPM 251-300

UC3M 251-300

US 301-400

UNIZAR 301-400

USC 301-400

Environmetal Sci UB 51-100

UAB 101-150

UCM 151-200

UAM 201-250

UPV 201-250

UPC 201-250

UGR 251-300

USC 251-300

Earth & Marine Sci UB 51-100

UCM 151-200

UAB 151-200

Chemistry UB 51-100

UAM 101-150

UCM 101-150

UAB 101-150

UNIZAR 251-300

UV 251-300

UGR 301-400

US 301-400

Material Science UAM 101-150

UB 101-150

UCM 151-200

Geography UAB 51-100

UB 51-100

UCM 101-150

UAM 151-200




Social Science 2015


Statitic & Operational Res UB 51-100

UPC 51-100

UC3M 101-150

UPV 101-150

UCM 151-200

UGR 151-200

US 151-200

UAB 151-200

Sociology UB 51-100

UCM 101-150

UAB 101-150

Politics & International Studies UCM 101-150

UAB 151-200

UB 151-200

UPF 151-200

Law UAM 51-100

UC3M 51-100

UCM 51-100

UNAV 101-150

UB 101-150

UPF 151-200

Economics & Econometry UPF 23

UC3M 38

UAB 51-100

UB 101-150

UAM 151-200

UCM 151-200

Accouting & Finance UNAV 51-100

UAM 101-150

UC3M 101-150

UCM 151-200

UAB 151-200

UB 151-200

UPF 151-200

Communication & Media Studies UCM 51-100

UNAV 51-100

UAB 51-100

UB 101-150

USAL 151-200

USAL 151-200

UPF 151-200

Education UB 51-100

UCM 101-150

UAB 101-150

UAM 151-200

UGR 151-200

Business and management URL 29

IE 51-100

UNAV 51-100

UC3M 151-200

UCM 151-200

Annex II Names of universities





CEU Universidad San Pablo CEU Privada

DEUSTO Universidad de Deusto Privada

EHU Universidad del PaísVasco Pública

IE IE University (Incluye SEK) Privada

MUNI Universidad de Mondragón Privada

NEBRIJA Universidad Antonio de Nebrija Privada

UA Universidad de Alicante Pública

UAB Universidad Autónoma de Barcelona Pública

UAH Univ Alcalá de Henares Pública

UAL Universidad de Almería Pública

UAM Universidad Autónoma de Madrid Pública

UAO Universitat Abat Oliba CEU Privada

UAX Universidad Alfonso X El Sabio Privada

UB Universidad de Barcelona Pública

UBU Universidad de Burgos Pública

UC3M Universidad Carlos III de Madrid Pública

UCA Universidad de Cádiz Pública

UCAM Universidad Católica San Antonio Privada

UCAVILA Universidad Católica Santa Teresa de Jesús de Avila Privada

UCHCEU Universidad Cardenal Herrera Privada

UCJC Universidad Camilo José Cela Privada

UCLM Universidad de Castilla-La Mancha Pública

UCM Universidad Complutense de Madrid Pública

UCO Universidad de Córdoba Pública

UCV Universidad Católica deValencia SanVicente Mártir Privada

UDC Universidad de A Coruña Pública

UDG Universidad de Girona Pública

UDIMA Universidad a Distancia de Madrid Privada

UDL Universidad de Lleida Pública

UEM Universidad Europea de Madrid Privada

UEMC Universidad Europea Miguel de Cervantes Privada

UFV Universidad Francisco deVitoria Privada

UGR Universidad de Granada Pública

UHU Universidad de Huelva Pública

UIB Universidad de las Illes Balears Pública

UJAEN Universidad de Jaén Pública

UJI Universidad Jaume I de Castellón Pública

ULL Universidad de La Laguna Pública

ULPGC Universidad de Las Palmas de Gran Canaria Pública

UM Universidad de Murcia Pública

UMA Universidad de Málaga Pública





UMCERVANTES Universidad Miguel de Cervantes Privada

UMH Universidad Miguel Hernández de Elche Pública

UNAV Universidad de Navarra (Privada) Privada

UNAVARRA Universidad Pública de Navarra Pública

UNED Universidad Nacional de Educación a Distancia Pública

UNEX Universidad de Extremadura Pública

UNICA Universidad Internacional de Catalunya Privada

UNICAN Universidad de Cantabria Pública

UNILEON Universidad de León Pública

UNIOVI Universidad de Oviedo Pública

UNIR Universidad Internacional de La Rioja Privada

UNIRIOJA Universidad de la Rioja Pública

UNIZAR Universidad de Zaragoza Pública

UOC Universidad Oberta de Catalunya Privada

UPC Universidad Politécnica de Catalunya Pública

UPCO Universidad Pontificia Comillas Privada

UPCT Universidad Politécnica de Cartagena Pública

UPF Universidad Pompeu Fabra Pública

UPM Universidad Politécnica de Madrid Pública

UPO Universidad Pablo de Olavide Pública

UPSA Universidad Pontificia de Salamanca Privada

UPV Universidad Politécnica deValencia Pública

URJC Universidad Rey Juan Carlos Pública

URL Universitat Ramon Llul Privada

URV Universidad Rovira iVirgili Pública

US Universidad de Sevilla Pública

USAL Universidad de Salamanca Pública

USC Universidad de Santiago de Compostela Pública

USJ Universidad San Jorge Privada

UV Universidad deValencia Pública

UVA Universidad deValladolid Pública

UVIC Universidad deVic Privada

UVIGO Universidad deVigo Pública

VIU Universidad InternacionalValenciana Privada

Indicadores para el análisis de la visibilidad ...

Documents

Transcript of Indicadores para el análisis de la visibilidad ...