Ranking Web de Universidades Webometrics y las universidades peruanas

Isidro F. Aguillo

Seminario: “VISIBILIDAD Y ACCESO A LA PRODUCCIÓN CIENTÍFICA”PUCP, Lima (Perú). 22-24 de septiembre de 2011

2

Rankings globales de universidades• Antes del Ranking de Shanghai• Impacto de los Rankings• Análisis comparativo de los principales Rankings

Criterios e indicadores• Viabilidad• Mitos y leyendas

El Ranking Web• Modelo y metodología• Resultados para Latinoamérica y Perú

Pequeño Taller• Utilidad y utilización• Mejorando la presencia en la Web

Ruegos y preguntas

Programa

3

Situación anterior a 2003• Rankings nacionales elaborados por instituciones no universitarias

(editoriales, periódicos, revistas)• Orientados como guía para estudiantes, con muchos aspectos no

académicos (costes, alojamiento, oferta deportiva y de ocio)• Criterios confusos, opacos, uso de fuentes no contrastadas

Estudios sobre la Educación Superior• En su mayor parte cualitativos, analizando fundamentalmente

universidades de países desarrollados• Ausencia de escenarios globales, pocos estudios empíricos y en todo caso

con muestreos pequeños o poco representativos Visión sesgada e incompleta

• Clasificaciones según prestigio, poco útil para desarrollar estrategias• Reconocimiento de la importancia de la actividad investigadora, pero sin

explotar adecuadamente los métodos bibliométricos

Rankings de Universidades

4

Una propuesta muy sencilla• Un indicador compuesto que combina unos pocos criterios cuantitativos

ligados a la excelencia (investigadora)• Un escenario global compuesto por 500 universidades de todo el mundo• Explotación de la publicación en la Web, alcanzando grandes audiencias y

logrando un enorme impacto mediático Principales características

• Elaborado por investigadores de una universidad, la Jiao-Tong de Shanghai• Utilizan fuentes de información públicas, fácilmente disponibles• Solo se consideran variables académicas• No incluyen valoraciones subjetivas

Impacto• Sorpresas desagradables en muchos países (Francia) y universidades• A pesar de las críticas, los resultados generan cambios en las políticas

nacionales e institucionales

Ranking de Shanghai (ARWU)

5

“World-class University”• Los Rankings (ARWU, THE-QS, HEEACT, LEIDEN) delimitan el grupo de

universidades (unas 500) que definen la élite mundial• Son representantes del modelo de “US research-intensive university”,

aunque hay representación de más de 30 países• Muchos países aspiran a colocar sus mejores universidades a corto-medio

plazo entre las 20, 50 ó 100 primeras de ese grupo Incremento de la oferta y de la demanda

• Rankings basados en encuestas de opiniones (QS, THE), bibliométricos (HEEACT, LEIDEN, SCIMAGO) o cibermétricos (WEBOMETRICS)

• Aceptación generalizada a pesar de las críticas Aspectos cuestionables

• Excesiva comercialización de los editores, con sesgos evidentes y prácticas, en algún caso, poco éticas

• Renuncia a la evolución metodológica en aras de la estabilidad y comparabilidad de los resultados

Impacto de los Rankings

6

Principales Rankings

Ranking Misiones Indicadores Modelo Resultados Comentarios

ARWU Investigación Excelencia (científica) Ninguno Correlación excelente para los Top 200

“World class” (establilidad a costa de mantener errores)

WEB Todas Actividad e Impacto (web)

Similar al factor de impacto

Correlación buena (discrepancias)

Malas prácticas penalizan en exceso

QS Todas Prestigio (encuestas) e Impacto (citas)

Ninguno Sesgos geográficos sospechosos

Inadecuado más allá de las primeras posiciones

HEEACT Investigación Actividad e Impacto (artículos, citas)

Ninguno Correlación buena

Método bibliométrico cuestionable

LEIDEN Investigación Impacto (citas/artículos)

“Crown indicator”

Varios “rankings”

“research universities”(método cuestionado)

SCIMAGO Investigación Actividad o Impacto (artículos, citas)

Posición según tamaño (por defecto)

Varios “rankings”

Universidades + Centros de investigación(sin indicador compuesto)

THE Todas Actividades, Prestigio (encuestas) e Impacto (citas)

Confuso Errores no corregidos

Comportamiento poco ético(no informa qué universidades no responden)

Identificando modelos

ACTIVIDAD IMPACTO

ACTIVIDAD IMPACTO

ARWU (Shanghai) 40% 60%

RANKING

QS (antes THES) 30% 70%

TIMES HE (2010) 35% 65%

HEEACT (Taiwán) 20% 80%

WR (Webometrics) 50% 50%

Pesos de los indicadores

8

9

Encuesta• Percepción subjetiva de la reputación académica. Nadie con experiencia y

conocimientos globales. Varios miles de respuestas, sesgadas. Análisis de citas

• Impacto de la comunicación formal de la ciencia mediante pares. En el mejor de los casos unas pocas docenas de citas

Análisis de enlaces• Motivaciones variadas, académicas y no académicas (editores de páginas

web, pares y no-pares). Audiencias enormes, en el orden de millones

Calidad evaluada por refrendo

Citas Patentes MISIONES UNIVERSIDADES INVESTIGACIÓN DOCENCIA

COMPROMISO SOCIAL

TRANSFERENCIATECNOLOGÍA

INTERNACIONA-LIZACIÓN

WORLD-CLASS + + + + + + + + + + + + NACIONALES + + + + + + + + + + + + LOCALES + + + + + + + + +

<-------------------------------Encuestas------------------------------->

<---

Enla

ces-

-->

Comparativa por países (Top 500)

10

Sesgos de ARWU

11

269

350

14.1

11.8

1901 Jacobus Henricus van 't Hoff (Chemistry)1901 Emil Adolf von Behring (Physiology or Medicine)1902 Hermann Emil Fischer (Chemistry)1902 Theodor Mommsen (Literature)1905 Adolf von Baeyer (Chemistry)1905 Robert Koch (Physiology or Medicine)1907 Albert Abraham Michelson (Physics)1907 Eduard Buchner (Chemistry)1908 Paul Ehrlich (Physiology or Medicine)1909 Karl Ferdinand Braun (Physics)1910 Otto Wallach (Chemistry)1910 Albrecht Kossel (Physiology or Medicine)1910 Paul Heyse (Literature)1911 Wilhelm Wien (Physics)1914 Max von Laue (Physics)1915 Richard Willstätter (Chemistry)1918 Fritz Haber (Chemistry)1918 Max Planck (Physics)1920 Walther Nernst (Chemistry)1921 Albert Einstein (Physics)

1925 Gustav Ludwig Hertz (Physics)1925 James Franck (Physics)1925 Richard Adolf Zsigmondy (Chemistry)1928 Adolf Otto Reinhold Windaus (Chemistry)1929 Hans von Euler-Chelpin (Chemistry)1931 Otto Heinrich Warburg (Physiology or Medicine)1932 Werner Heisenberg (Physics)1933 Erwin Schrödinger (Physics)1935 Hans Spemann (Physiology or Medicine)1936 Peter Debye (Chemistry)1939 Adolf Butenandt (Chemistry)1944 Otto Hahn (Chemistry)1950 Kurt Alder (Chemistry)1950 Otto Diels (Chemistry)1953 Fritz Albert Lipmann (Physiology or Medicine)1953 Hans Adolf Krebs (Physiology or Medicine)1954 Max Born (Physics)1956 Walther Bothe (Physics)1991 Bert Sakmann (Physiology or Medicine)2007 Gerhard Ertl (Chemistry)

Premios Nobel de la Universidad de Berlin (1945), escindida luego en dos: Humboldt Universität y Freie Universität

RANKINGS WEBInstitution 2011

Freie Universität Berlin - - 92

Humboldt Universität zu Berlin - - 103

2003 …..… 2011ARWU

12

Problemas con QS

• Se edita desde 2004, con dos ediciones al año (enero y julio): www.webometrics.info

• El Directorio es el más grande y actualizado, con más de 20.000 instituciones de educación superior de todo el mundo con sus respectivos dominios web

• El Ranking publica las 12.000 primeras universidades a partir de indicadores web

• La Universidad debe reflejarse de forma fidedigna en su presencia Web

• Organización, actividades, resultados de investigación, transferencia de conocimientos y tecnología, compromiso social y medioambiental, prestigio y visibilidad internacional

• Si el rendimiento en la Web está por debajo de lo esperado, puede deberse a la falta de compromiso con la publicación electrónica, o las malas prácticas web

Ranking GLOBAL: El Ranking Web

13

3466394

16835

6045

6177108

349140

3945

5102413

19403(Top 1000)

WRJulio 2011

Distribución geográfica

14

Brecha digital académica

15

Región/Países Top 100 Top 200 Top 500 Top 1000 TOTAL NORTEAMÉRICA 73 111 196 394 3466 EUROPA 16 58 221 413 5102 ASIA / OCEANÍA 9 26 65 148 6648 LATINOAMÉRICA 2 5 17 40 3491 Brasil 1 4 12 18 1441 México 1 1 1 5 899 Argentina 2 3 108 Colombia 1 3 281 Chile 1 3 80 Perú 2 93 Venezuela 2 59 Ecuador 1 71 Costa Rica 1 58 Puerto Rico 1 40 Bolivia 47 Paraguay 44 Uruguay 38 Rep. Dominicana 32 Panamá 32 Nicaragua 31 Cuba 28 El Salvador 28 Guatemala 22 Honduras 13 ÁFRICA 1 5 695 MUNDO 19402 +1

4 (18)

Top 200 (Top 1000)

0 (2)

0 (3)

0 (3)

0 (3)

1 (5)

0 (1)

0 (1)

0 (1)

0 (2)

16

Latinoamérica

0 (1)

WRJulio 2011

17

Universidades en Latinoamérica

18

Rankings de Universidades Peruanas

Correlaciones con población y riqueza

RANKINGS Top 100PAÍS Población PIB W SH W SH W SHBrasil 2.75% 3.31% 1% 2.0% 0.5% 2.4% 1.4% 7.43%Mexico 1.62% 1.64% 1% 0.5% 0.5% 0.2% 0.2% 4.63%Argentina 0.58% 0.59% 0.5% 0.4% 0.2% 0.56%Venezuela 0.42% 0.46% 0.30%Colombia 0.66% 0.45% 0.2% 1.45%Chile 0.25% 0.32% 0.2% 0.4% 0.41%Perú 0.42% 0.24% 0.48%Puerto Rico 0.05% 0.12% 0.21%Ecuador 0.21% 0.09% 0.37%Cuba 0.16% 0.09% 0.14%Rep. Dominicana 0.14% 0.08% 0.16%Guatemala 0.21% 0.07% 0.11%Uruguay 0.05% 0.06% 0.20%Costa Rica 0.07% 0.06% 0.30%Panamá 0.05% 0.04% 0.16%El Salvador 0.09% 0.03% 0.14%Bolivia 0.15% 0.03% 0.24%Paraguay 0.09% 0.03% 0.23%Honduras 0.12% 0.02% 0.07%Nicaragua 0.08% 0.01% 0.16%

Top 200 Top 500TOTAL

Correlación

100 500 1000 TOTAL 100 500

Población ,254** ,378** ,448** ,761** ,229** ,418**

PIB ,442** ,670** ,740** ,888** ,431** ,692**

100 ,629** ,556** ,372** ,596** ,629**

200 ,828** ,741** ,489** ,688** ,831**

500 ,899** ,589** ,608** ,906**

1000 ,695** ,543** ,846**

TOTAL ,372** ,600**

100 ,620**

200 ,787**

500

País

Web

omet

rics

Shan

ghai

Top Webometrics Top Shanghai

20

Vecindarios web

Popularidad

22

Estrategias fuertes

Contenidos Páginas de apoyo a la docencia, especialmente a la educación a distancia Sedes web para todos los grupos de investigación, incluyendo páginas

personales y proyectos Hospedaje: sedes web para terceras partes

Contenidos de calidad Portal de revistas Repositorio de trabajos científicos Portales multimedia (incl. Webinars) Portales de software Archivo de datos / Archivo web Compromisos sociales

Contenidos internacionales Versiones multilingües (incl. inglés) Guías para estudiantes Super-sedes

MIT Open CourseWare

23

Páginas personales

Páginas “personales”

Páginas “personales”

Portal OA de la USP

27

Tesis en la USP

28

29

¿Por qué la Web?

o La presencia web es un indicador. Se puede asegurar que refleja de forma global el desempeño de la universidad y no solo sus actividades en línea

o La Web es ya la herramienta más importante de comunicación científica

o La Web incrementa significativamente la audiencia, la visibilidad y el impacto de las actividades y logros de profesores, investigadores y estudiantes

o La Web es el canal futuro y presente para la enseñanza no presencial, el escaparate mas económico y el más atractivo para reclutar los mejores estudiantes y profesores internacionales y es el punto de encuentro entre la universidad, la sociedad, sus actores económicos y los líderes políticos

¿Por qué el Ranking Web?

o El Ranking Web es el de más amplia cobertura, ya que clasifica tanto las universidades de nivel mundial como aquellas relevantes para el desarrollo de los países emergentes

o Las discrepancias observadas nos informan de serios problemas de gobernanza, ausencia de estrategias a largo plazo, políticas inadecuadas u obsoletas y malas prácticas web

Resumiendo

30

¿Preguntas? …

Isidro F. Aguillo, HcPhDThe Cybermetrics Lab. IPP-CCHS-CSICisidro.aguillo@cchs.csic.es

Foro abierto

Proverbio chino:"Cuando un dedo señala la luna, el imbécil mira el dedo"