1

ANÁLISIS Y EVALUACIÓN DE LA VISIBILIDAD DE LA INVESTIGACIÓN DE LAS UNIVERSIDADES ESPAÑOLAS A TRAVÉS DEL ESTUDIO DE SUS

PÁGINAS WEB: AVANCE DE LOS RESULTADOS Investigadores: María Pinto *(UGR) mpinto@ugr.es José Luis Alonso Berrocal (USAL) berrocal@usal.es José Antonio Cordón García (USAL) jcordon@usal.es Viviana Fernández Marcial (SAN PABLO-CEU) marcial.fhm@ceu.es Carlos García Figuerola (USAL) figue@usal.es Javier García Marco (UNIZAR) jgarcia@posta.unizar.es

Carmen Gómez Camarero (UMA) gomez@uma.es Ángel Francisco Zazo (USAL) afzazo@usal.es

Anne-Vinciane Doucet (UGR). Becaria avdoucet@ugr.es

RESUMEN Resumen: Este proyecto se enmarca en el contexto social e institucional del Espacio Europeo de Educación Superior que apuesta por una sociedad del conocimiento, marcada por el aprendizaje continuo, la compartición de conocimientos y experiencias, y el uso intensivo de las tecnologías de la información y la comunicación, donde la transferencia de los resultados de la investigación adquiere un protagonismo fundamental. De ahí que el presente trabajo tenga como objetivos el análisis y evaluación de la difusión de la investigación de las universidades españolas a través de la World Wide Web, con la finalidad de obtener un mapa de la visibilidad de la información sobre investigación de las mismas y proponer medidas para mejorar la calidad de su difusión. La metodología aplicada en el estudio ha integrado métodos de investigación cualitativa y cuantitativa para obtener unos indicadores de calidad sobre la difusión de la investigación. El objeto de estudio está conformado por una muestra seleccionada de 19 universidades españolas, elegidas en función de la representatividad por Comunidad Autónoma y el peso administrativo y científico de las mismas. Tras la definición de indicadores, tanto cualitativos como cuantitativos, la recogida de datos y el análisis de los mismos, el estudio ha dado como resultado un panorama del estado de la cuestión de la visibilidad de la información sobre investigación en las páginas web de las universidades seleccionadas, y ha permitido definir unas propuestas de mejora que pueden contribuir a la excelencia de su difusión.

2

Abstract: This project is located within the institutional and social context of Higher Education European Space, betting on a society of knowledge marked by the continuous learning, the sharing of knowledge and experience and the intensive use of information and communication technologies, where the transfer of research results plays a basic part. From there, the present work has the goal of analysis and evaluation of Spanish universities research dissemination through the WWW, with the aim of getting an information visibility map on research and to propose some steps to improve the quality of such a dissemination. The applied methodology has integrated qualitative and quantitative research methods in order to get some quality indicators on the research dissemination. The subject matter is made up of a selected sample of 19 Spanish universities according to the autonomic community weight and it administrative and scientific weight. Once defined the indicators, not only qualitative but also quantitative, and the methods of data collection and analysis, the study conclude with a state of the art panorama on the information visibility on Web pages research of the selected Spanish universities, allowing the definition of some improvement proposal that may contribute toward the excellence of it dissemination. Palabras clave: Investigación, Universidades, Difusión de la investigación, Visibilidad de la información, WWW, calidad, servicios de información, Internet, indicadores de calidad, análisis cualitativo, análisis cuantitativo, mejora de la calidad. Keywords: Research, Universities, Research diffusion, Information visibility, WWW, quality, information services, Internet, quality indicator, qualitative analysis, quantitative analysis, improvement quality.

INTRODUCCIÓN La calidad de la información corporativa en la World Wide Web se ha estudiado

desde diversas perspectivas y enfoques, que son aplicables al caso de la

información web sobre investigación en las universidades. A continuación se

presentan cinco de las principales líneas de investigación, cada una de las

cuales propone metodologías de análisis y modelos elaborados.

En primer lugar, destacan los estudios sobre contenidos y servicios de

información de tipo descriptivo y, posteriormente, comparativo. Obviamente, la

visibilidad de la información sobre investigación tiene como precondición que

dicha información esté disponible en la World Wide Web. Si la información no

está disponible, no puede ser consultada. Por consiguiente, y un primer criterio

de evaluación de la visibilidad será siempre la presencia o no de la información

3

en Internet. La identificación de la información relevante puede realizarse a

través de la cotejo con otras fuentes existentes o, frecuentemente, de la

comparación entre los contenidos y servicios de los diferentes webs [1]. La

realización de dichos estudios descriptivos y comparativos constituye, a su vez

la precondición para la propuesta de modelos ontológicos de contenidos, de los

que —además de la lógica práctica empírica— ya existen algunos basados en

este tipo de estudios previos y teóricamente elaborados en el área de la

información universitaria [2].

Sin embargo, una vez que la información está disponible, dicha información

debe ser accesible y usable. Un segundo tipo de estudios se refieren,

precisamente, a la accesibilidad a través de los buscadores y catálogos de

carácter general y especializado. La accesibilidad a través de buscadores —el

método de acceso más utilizado por los usuarios— es un campo de

investigación importante, que incluso mereció el interés de la revista Nature [3].

En tercer lugar, la discusión sobre la calidad de información en Internet se ha

centrado mucho en los últimos años en los aspectos relacionados con la

satisfacción del usuario, primero desde un punto de vista cualitativo,

proponiendo modelos a partir de la elaboración teórica de baterías de consejos

prácticos, y posteriormente buscando indicadores susceptibles de permitir una

evaluación automática. Dentro del primer enfoque, el tema estrella del cambio

de siglo en lo referente al diseño de sitios web está siendo precisamente la

denominada “usabilidad”. Algunos autores (Badre[4], Chandler[5] Clauson[6],

Krug[7], Wroblewski [8], Nielsen [9]) la definen como un atributo cualitativo que

evalúa el grado de facilidad de uso de un interfaz, y la refiere proactivamente a

los métodos que se pueden utilizar para mejorar dicha facilidad de uso durante

el proceso de diseño. Aunque la corriente que sigue el concepto bandera de

usabilidad es en estos momentos mayoritaria dentro del análisis cualitativo de

sitios web, existen diversos grupos que investigan también en el análisis

cualitativo de la información web y en la construcción de modelos de calidad

que no se inscriben directamente en la corriente. Unos y otros han contribuido

decisivamente al estudio de los sitios web universitarios. Entre ellos se pueden

mencionar a título de ejemplo el de Corry, Frick y Hansen[10], el de los

sudafricanos Bantjes y Cronje [11] el de los españoles Mateos, Mera,

Chamorro; González, Miranda, López y Rodrigo [12] o el de los investigadores

4

argentinos Olsina, Godoy, Lafuente y Rossi [13]. Los criterios elegidos y los

modelos de análisis serán analizados posteriormente en el apartado dedicado a

la definición de los indicadores cualitativos y a su estructuración en un modelo

de análisis coherente.

Por otra parte, la detección de indicadores cualitativos ha abierto la puerta al

análisis de indicadores cuantitativos —susceptibles de ser recogidos por un

robot de búsquedas— que correlacionen bien con medidas de calidad. Esta

línea de investigación, muy conectada con la anterior, pero que ofrece ventajas

complementarias, como la extracción de datos independientes del juicio

humano o la amplitud de la muestra estudiada, está experimentando un gran

auge, y se presentará con detalle en el apartado de resultados cualitativos.

Por fin, una última gran línea de investigación sobre la calidad de los recursos

de información de la World Wide Web se entronca en la tradición bibliométrica,

y aborda la estimación indirecta de la calidad por medio de las citas que recibe

la fuente. La utilización de métodos bibliométricos para la evaluación de la

Internet ya fue vislumbrada por W. Paisley [14], y existen ya diversos estudios

aplicados al campo de la información universitaria en la World Wide Web,

desde el pionero de Almind y Ingwersen [15] sobre las universidades danesas,

a los más recientes de Smith y Thelwall [16] sobre las universidades

australianas y de Thelwall [17] sobre las británicas. Estos estudios permiten

extraer inferencias sobre el impacto de la producción científica de las

universidades semejantes a las obtenidas en los estudios bibliométricos. La

aproximación a la visibilidad a través de citas ha sido aplicada al contexto

español universitario y de investigación por Isidro Aguilló y al campo de los

webs de las Escuelas y Facultades de Biblioteconomía en un estudio de

Castillo, Martínez y Server dirigido por Abad.

El presente estudio aborda la evaluación de la información sobre investigación

en los servicios de información WWW universitarios españoles desde los

diferentes enfoques, buscando la integración entre métodos cualitativos y

cuantitativos y entre los enfoques inductivos —centrados en el análisis de la

realidad— y los deductivos —basados en el análisis de la implantación de

modelos de calidad—.

5

OBJETIVOS Y ALCANCE La delimitación de los objetivos de la investigación tiene como punto de partida

el siguiente planteamiento. Si bien la estructuración del sistema de enseñanza

de educación superior español reconoce la autonomía de las universidades en

cuanto a su forma de gestión y competencias, ello no invalida la necesidad de

contar con indicadores y líneas de actuación comunes que influyan en la

conformación de la imagen de excelencia de las universidades españolas.

Más aún la integración del sistema universitario en el espacio europeo implica

la necesidad de unas pautas y estándares europeos comunes, y ello obliga a

iniciar actuaciones convergentes y homogéneas en primer lugar desde cada

país de la Unión Europea.

El objetivo de la presente investigación ya en curso es valorar, desde el punto

de vista cuantitativo y cualitativo, la disponibilidad y acceso de la información

en el espacio virtual de las universidades españolas en lo referente a la gestión

de la Investigación. De lo cual se desprenden los siguientes fines.

a) Definición de indicadores y parámetros cuantitativos sobre la accesibilidad

de la información en el área de Investigación de las universidades

españolas.

b) Definición de parámetros de calidad que valoren la disponibilidad,

idoneidad y accesibilidad del espacio Web destinado a la Investigación en

las universidades españolas.

c) Análisis del espacio Web a partir de estos criterios. En el caso de la

evaluación cuantitativa se utilizará un robot cibermétrico recientemente

diseñado, que explora de forma automática y autónomamente la red

recogiendo datos significativos definibles por el usuario.

d) Análisis y valoración cualitativa de la información a partir de los criterios de

calidad preestablecidos.

e) Análisis y valoración de la información y los datos con vistas a establecer

puntos comunes y diferenciales en la disponibilidad de la información en

Internet.

f) Establecimiento de criterios e indicadores de excelencia para el diseño

efectivo de los espacios virtuales dedicados a la Investigación en las

universidades españolas.

6

En cuanto al alcance de la investigación se centra en el área de Investigación

por la relevancia e importancia de las mismas en la evolución y desarrollo de la

universidad, considerando trascendencia de la investigación como factor clave

en la visibilidad de la actividad científica universitaria; el papel de la

investigación en la proyección internacional; el valor de la investigación como

medio de atraer relaciones de alianza e inversiones del sector empresarial e

industrial.

En el marco de este trabajo se entiende por investigación los siguientes

aspectos. Uno, la disponibilidad de la información relativa a proyectos,

subvenciones y ayudas; dos, las actividades de investigación, tales como

cursos, congresos, jornadas, entre otros; tres, la representación de la

información relativa a la movilidad de los profesores universitarios; cuatro, la

representación de la información relativa a la movilidad de becarios de

investigación; cinco, la descripción y organización de los informes y memorias

de investigación de la Universidad; seis, la información de los Departamentos

sobre sus grupos y resultados de investigación.

Si se tiene en cuenta la estructura organizativa de las universidades analizará

la visibilidad de la información en los Departamentos, en las Oficinas de

Transferencia de Información (OTRIs) y en los Vicerrectorados de

Investigación.

METODOLOGÍA Para el desarrollo de los objetivos de investigación, se optó por aplicar una

metodología diversificada y complementaria que permitiese analizar

indicadores de calidad de la visibilidad de la información sobre investigación en

las webs universitarias españolas. Con esta perspectiva se desarrollo una

metodología de investigación cualitativa y otra cuantitativa. Así el grupo total de

los investigadores se dividió en dos subgrupos en función de las aportaciones y

experiencia en los métodos de trabajo.

Ambos subgrupos trabajaron con diferente enfoque aunque consensuado con

entre ambos, siempre partiendo de la misma muestra. La misma se seleccionó

a partir de los criterios que se detallan a continuación.

El universo de la investigación está constituido por el total de universidades

españolas tanto públicas como privadas, esta cifra asciende a un total de 65

7

universidades1. De esta población se seleccionó una muestra integrada por 19

universidades (véase anexo).

Para ello se han utilizado dos procedimientos. En primer lugar se ha

determinado la representatividad de todas las Comunidades Autónomas en

este estudio, seleccionando una universidad por cada una de éstas. En el caso

de aquellas comunidades con un mayor número de universidades combinando

con su peso tanto desde el punto de vista administrativo como científico, se ha

optado por seleccionar dos universidades. Esto es las comunidades autónomas

de Madrid y Cataluña.

Del proceso de estratificación resultó un total de 19 universidades. Para la

selección de definitiva de los elementos de la muestra se utilizo un muestreo no

aleatorio intencional, intentando con ello garantizar la máxima

representatividad. El consenso del total de los investigadores sobre un análisis

multivariable permitió definir las universidades objetos de estudio.

Para la obtención de los resultados se definieron una serie de indicadores

cualitativos y cuantitativos. Los indicadores cualitativos se han adaptado según

el contexto analizado. El proceso de recogida de información de estos

indicadores se realizó de forma manual a partir de una plantilla de trabajo. Los

resultados obtenidos siempre han sido contratados para verificar la legitimidad

de la evaluación. En cuanto al análisis cuantitativo, la recogida de información

se ha realizado mediante un robot automático, de forma que, asignada una

página de partida, dicho robot la analiza, extrae los enlaces que contiene y se

conecta a ellos de forma automática, permitiendo sucesivamente la recogida de

miles de páginas. Toda la información de las páginas analizadas se almacena

en una base de datos, y se pueden calcular todos los índices necesarios. Para

esta fase hemos trabajado con el robot Sacarino bot2 desarrollado por el grupo

REINA3 de la Universidad de Salamanca. Se trata de un robot altamente

configurable que nos ha permitido trabajar de manera adecuada en todos los

aspectos cibermétricos de este trabajo.

1 Información extraída de http://www.rediris.es/recursos/centros/univ.es.html 2 Sacarino. Sonda AutomátiCA para Recuperación de INformaciÓn en el web 3 Grupo REINA, REcuperación Automatizada de la INformación. http://reina.usal.es

8

RESULTADOS Los resultados obtenidos se pueden agrupar en resultados de investigación

cualitativa y cuantitativas.

Los resultados cualitativos se sintetizan en los siguientes aspectos.

a) Tamaño del Web. En este indicador se ha analizado el número único de nodos (de páginas). Destaca en tamaño, respecto al número de páginas

obtenidas, la Universidad de Granada, seguido de la Universidad de la

Rioja. Otro sub criterio analizado es el tamaño de los documentos. Los

ficheros más grandes los tiene la Universidad de Salamanca

manteniéndose el resto en valores bastantes cercanos a 10KB frente a los

50KB de la Universidad de Salamanca.

b) Indicadores de conectividad. La densidad hipertextual analiza el ratio

tamaño de la página por el número de enlaces. En este aspecto destacan

Universidad de Murcia, Universidad de Zaragoza, Universidad de Santiago

de Compostela y Universidad de Salamanca

c) Índice de desarrollo hipertextual. Este aspecto se mide calculando

enlacesdenºnodosdenº (sin contabilizar los autoenlaces de nodo) que nos permite

caracterizar la topología hipertexto, de tal forma que lo valores más bajos

indican un mejor índice de hipertextualidad y por lo tanto se encuentran

mejor conectados de forma global. El mejor desarrollo hipertextual lo tiene

la universidad Universidad de Castilla la Mancha, seguido de cerca por la

Universidad Politécnica de Madrid. Hay que destacar el buen desarrollo de

la (Universidad de Extremadura.

d) Visibilidad. Este término empleado por Bray [18], que lo definió como la

característica que nos indica la sede que más enlaces recibe se ha

redefinido por parte de otros autores pretendiendo eliminar los sesgos que

puede tener el cálculo del WIF. Esta redefinición pretende obtener los

dominios que más enlaces reciben pero de forma normalizada, permitiendo

establecer la comparación entre los diferentes dominios analizados.

La visibilidad (relacionada con el sistema hipertextual y los enlaces entre

una universidad a las páginas de investigación de las otras). Destacan por

orden la Universidad del País Vasco, y la Universidad de Zaragoza y la

Universidad Autónoma de Barcelona

9

e) Diámetro Web. En el caso del diámetro hay que tener en cuenta que un

menor diámetro nos indica que es más fácil alcanzar todos los documentos

que forman parte del espacio de información recogido. Un valor alto nos

indica que es muy complicado llegar o alcanzar determinados documentos

en el espacio de trabajo. La universidad con mayor diámetro es la

Universidad de Barcelona, seguida de la Universidad del País Vasco.

Si tenemos en cuenta que el diámetro web promedio de los dominios

españoles es de aproximadamente 12 [19] solamente tres universidades lo

superan y el 58% se encuentran por debajo de 10.

f) Compactación. El índice de Compactación de un grafo es una medida que

se obtiene a partir de la matriz de distancia convertida y un grafo que posee

un alto valor en su índice de compactación nos indica que los diferentes

nodos pertenecientes al grafo se pueden alcanzar o enlazar fácilmente y

ello sugiere un amplio número de referencias cruzadas o de enlaces entre

los diferentes nodos. Un índice de compactación bajo indica que hay una

insuficiencia de enlaces y que posiblemente existan diferentes partes del

grafo que se encuentran desconectadas.

El 37% (>0,7) de las universidades se encuentran muy bien conectadas

desde el punto de vista hipertextual (destacando la Universidad de la Rioja)

con valor próximo a 1. El 32% se encuentran mal conectadas (<0,4),

destacando la Universidad Politécnica de Valencia con un valor realmente

pobre.

g) Stratum. Este índice nos permite conocer si el hipertexto se ha diseñado de

una forma lineal, jerárquica, induciendo al usuario a seguir un orden

concreto en la obtención de la información o si por el contrario no existe

esta estructura jerárquica y no existe un orden preestablecido por el

diseñador de la sede para poder obtener la información.

En general el diseño de las universidades es de tipo circular, no lineal o

jerárquica, se da opción al usuario a obtener la información como desee, sin

prefijar rutas concretas. La Universidad Politécnica de Madrid es la que

habría fijado una estructura más jerárquica, pero como podemos ver el valor

está entorno a 0,11 que es un valor muy bajo. La Universidad Politécnica de

Valencia con un valor cercano a 0 sería la de estructura más circular de

todas las universidades.

10

En cuanto a los resultados cualitativos se obtuvieron los datos que se recogen en

los siguientes apartados.

a) Visibilidad de la información de investigación. En este apartado se valoró la

facilidad e intuitividad del sitio Web destinado a la investigación en las

universidades objeto de estudio. Los resultados de este análisis mostraron

resultados extremos.

En el 89% de las universidades analizadas existe una entrada clara e

identificable en la página principal del apartado de Investigación, bajo el

título Investigación. De igual forma se pudo comprobar la existencia de una

denominación de la página de entrada al apartado de investigación con un

título identificativo propio.

La existencia de un mapa del sitio Web dedicado específicamente a

investigación, es otro punto evaluado. En este sentido los resultados son

muy dispares y con una notable falta de homogeneidad. Sólo el 42% del

conjunto de universidades analizadas responden a esta exigencia.

Un aspecto directamente vinculado a la organización de los contenidos es la

existencia de una tabla que permita conocer cómo están estructurados

estos y, mediante comentarios asociados a los mismos, especificar el

alcance y las limitaciones de los distintos apartados. El 68% de media (6,8

sobre 10) que ostentan las universidades españolas respecto a este ítem

nos permite considerar como aceptable su presencia en las páginas Web de

investigación. De cualquier modo, aunque prácticamente todas las

universidades poseen esta estructuración de la información mediante la

mencionada tabla existen disparidades en cuanto al desarrollo de la misma.

La existencia de comentarios que describan brevemente el contenido de la

tabla es más infrecuente, y esto es un aspecto que aunque no

imprescindible, contribuye a clarificar la dimensión real de los contenidos.

Finalmente la visibilidad está estrechamente relacionada con la existencia

de un motor de búsqueda que permita recuperar no sólo la información

evidente sino también aquella que subyace bajo los epígrafes principales.

En este punto se han valorado por una parte la existencia de un motor de

búsqueda general de la universidad, supuesto que cumplen un 90% de las

universidades. Por otra, la presencia de un motor de búsqueda propio de

11

investigación, aspecto este que cumplen muy pocas universidades (Castilla

la Mancha, Complutense de Madrid, Granada y Navarra), y que exista una

opción de búsqueda avanzada que permita el empleo de operadores para

combinar criterios de búsqueda, lo que permite un mayor refinamiento de la

misma y unos resultados más aquilatados. Esta última condición también se

da un alto porcentaje de universidades.

b) Autoría. El análisis de la autoría refleja que las universidades españolas

utilizan un logotipo y texto acompañante. Esto sucede en el 100% de los

casos, no ocurre igual con la presencia del Webmaster. En este segundo

caso los porcentajes son muy bajos un 28% de las universidades,

mencionan expresamente el mismo.

c) Actualización y actualidad. En este apartado se miden dos indicadores

relativos a la variable tiempo. En ambos casos, los resultados son poco

satisfactorios. Por una parte sólo en un 36% de los casos está presente la

fecha de actualización de la información incluida en las páginas Web. En

más de la mitad de los casos o bien los enlaces están obsoletos o no existe

indicación del estado de las convocatorias con lo que esto representa de

desorientación del usuario de la página.

Si bien en el primer caso, el hecho que exista constancia de la actualización

se ha de considerar positivamente, y su ausencia no refleja necesariamente

que la página Web no esté actualizada; en el segundo supuesto sí se

requiere de una actuación efectiva de expurgo de enlaces obsoletos.

d) Accesibilidad. El criterio de accesibilidad intenta comprobar la capacidad de

consulta de la web por parte de cualquier usuario independientemente del

navegador y sistema que utilice, de sus condiciones físicas, accesibilidad

para discapacitados, y de su idioma. Los resultados arrojan datos

completamente dispares para cada uno de estos ítem. La media del criterio,

debido a estos desajustes es bastante baja, un 4,21 sobre 10. Aunque

determinados indicadores alcanzan valores muy positivos para todas las

universidades como veremos a continuación.

La compatibilidad de consulta con varios navegadores (Explorer, Netscape,

Opera, etc) la cumplen el 92% de las universidades. Ello constituye un

indicio muy positivo de adaptabilidad a contextos variados y, sobre todo,

12

facilita, la consulta de los contenidos de investigación a las diferentes

comunidades de usuarios.

Sin embargo, la existencia de ayudas sobre la navegación y estructura de la

web aparece con un escaso grado de cumplimiento en las universidades,

3,16 sobre 10. No deja de resultar paradójica la preocupación por la

compatibilidad de consulta desde distintos navegadores, que se comprueba

en casi todas las universidades, y la ausencia de un mecanismo de apoyo

como una guía o ayuda sobre el mejor modo de consultar la web.

Otro aspecto deficitario en el diseño de las Web universitarias y

puntualmente en el área de investigación, es la ausencia de observación de

los criterios de accesibilidad definidos por la WAI. para discapacitados.

Evidentemente la adaptación a esta normativa obligará a una

reestructuración en profundidad de toda la política de elaboración de

páginas Web, de tal manera que lo más probable es que se ofrezcan

versiones alternativas. Pero ninguna de las universidades consultadas ha

acometido este proceso necesario si se quieren favorecer la consulta y

difusión de los contenidos

Otro tanto ocurre para la versiones de las páginas web en otros idiomas,

solo la Universidad Autónoma de Barcelona, la Universidad de Barcelona, la

Universidad de Illes Balears, la Universidad Politécnica de Valencia y la

Universidad del País Vasco ofrecen versión inglesa y en catalán y euskera

respectivamente. Otras como la Universidad de Oviedo solo ofrecen versión

en inglés, pero el resto no ha desarrollado ninguna alternativa en otros

idiomas, lo que seria deseable con objeto de favorecer la consulta desde

ámbitos idiomáticos distintos del castellano.

El último aspecto analizado, la posibilidad de imprimir correctamente los

contenidos que figuran en la página Web de investigación no plantea

problema en la mayoría de las universidades analizadas y evidencia la

posibilidad de hacer uso de los mismos en formatos diferentes del on-line.

e) Difusión de la investigación. Este criterio representa el núcleo central del

análisis cualitativo. Es el criterio en torno al cual se articulan los demás en el

sentido que es para difundir la investigación, para facilitar y estimular su

uso, desarrollo y consulta para lo que se elaboran y estructuran las páginas

Web particulares dedicadas a este tema.

13

Difusión de la investigación es el criterio más extenso en cuanto a sus

unidades de análisis y aquel que tiene una vinculación directa con los

resultados y la actividad científicos de las universidades. El resultado global

del criterio arroja una media poco satisfactoria, 4,21 sobre 10, pero dada la

multiplicidad de elementos de análisis que se han empleado es preciso

concretar esta valoración en el desglose de los subcriterios.

Un primer análisis que se ha realizado con cada universidad es comprobar

la presencia de la misma en los resultados de búsqueda de sistemas como

Google para verificar su lugar relativo en el conjunto de las universidades.

Si bien la aparición en un lugar u otro de la tabla de resultados de Google

no evidencia en modo alguno la importancia o calidad de la investigación de

una universidad o del acabado de su página Web, sí podría constituir una

orientación sobre su visibilidad en el ámbito nacional e internacional. Los

resultados, en general han sido bastante negativos, no apareciendo la

mayoría de las universidades entre los 30 primeros resultados del buscador.

Son de destacar en este punto la Universidad Complutense de Madrid, la

Universidad de Navarra y la Universidad de Santiago de Compostela que

aparecen en los primeros lugares de los resultados de búsqueda. Insistimos

en que este es un criterio que no pondera la calidad de las universidades

sino la mayor o menor posibilidad de encuentro por parte de un investigador

que utilice esa herramienta de búsqueda.

El siguiente apartado está dedicado a la existencia de una sección en la

página web donde se contemplen los grupos de investigación de cada

universidad. Este es una aspecto bastante bien cubierto por todas las

universidades. En casi todas las páginas web existen enlaces a los grupos

de investigación constituidos en las mismas, además en bastantes de ellas,

como la Universidad de Barcelona, la Universidad Autónoma de Barcelona

o la Universidad Politécnica de Valencia, los grupos de investigación están

estructurados por áreas y hay además una base de datos de los mismos

que facilita su búsqueda.

Otro apartado analiza la presencia de información sobre encuentros de tipo

científico, congresos, seminarios, jornadas, etc, organizados por la propia

universidad o fuera de ésta. Aquí se pretendía comprobar, por una parte

que existen enlaces desde la página Web de investigación, con la

14

denominación, responsables, fecha y lugar de celebración etc., que

permitan a cualquier usuario identificar con facilidad el evento y que se

informe brevemente sobre sus contenidos a través de un resumen, al

tiempo que verificar que la información no haya caducado. En este apartado

se comprobó que las universidades ofrecen esta información en otros sitios

de la Web, por ejemplo en los departamentos o la información de última

hora, y no necesariamente en el espacio Web destinado a la investigación.

Los resultados en este subcriterio han registrados valores muy bajos, un 3,8

sobre 10. El principal problema es que esta información,en ocasiones, se

encuentra bajo epígrafes poco significativos que dificultan su acceso más

que facilitarlo. Por ello sería conveniente que en la página Web de

investigación de las universidades figurase una sección dedicada a los

encuentros científicos o en su defecto un enlace a aquella parte de su

página Web donde se recoja esta información. Y que ésta aparezca bajo un

título suficientemente significativo.

La información sobre proyectos de investigación, es otro subcriterio

insuficientemente representado en las páginas Web de las universidades.

Un 2,63 sobre 10 arroja un resultado muy débil dada la importancia de este

apartado. Los casos más críticos son los de las universidades en las que no

figura enlace alguno a los proyectos de investigación que están

desarrollando, ni remisión a alguna parte de la Web donde figure esta

información. Tal como se ha indicado anteriormente, esto no evidencia que

en esas universidades no desarrollen proyectos de investigación, sino que

estos no se reflejan en su página Web. Hay ocasiones en que estos

proyectos si aparecen pero no están convenientemente estructurados en

una base de datos y carecen de resumen acerca de los mismos por lo que,

igualmente su consulta se hace dificultosa.

En el caso de las convocatorias los resultados arrojan igualmente unos

valores dispares, según se trate de convocatorias de premios, de

subvenciones de investigación, o de concursos. Los resultados son

razonables, excepto en las convocatorias de premios donde se alcanza una

valoración de 3 sobre 10. Los mejores resultados existentes aparecen en

las convocatorias para subvenciones de investigación, lo cual evidencia la

15

preocupación de las universidades para que los investigadores conozcan

los medios financieros para el desarrollo de proyectos.

Otro aspecto analizado, igualmente con unos resultados razonables para el

conjunto de las universidades, es el interés en destacar la información

relevante o de última hora, tanto en el ámbito de la propia universidad como

en el exterior, en relación con la investigación. La utilidad de esta

información se garantiza cuando las universidades mantienen el máximo

grado de actualización, en caso contrario su fin se anula.

Otro aspecto analizado la visibilidad de los grupos de investigación a través

del directorio de investigadores de la universidad. Aunque hay

universidades como la Autónoma de Barcelona, la Universidad de

Barcelona o la Complutense de Madrid, la Universidad del País Vasco y la

Universidad de Zaragoza, que mantienen un directorio completo con la

relación de los investigadores y los datos de identificación necesarios para

su ubicación y localización, este es un aspecto muy débilmente cubierto por

el resto de las universidades españolas.

El apartado de publicaciones es uno de los subcriterios más importantes

desde el punto de vista de la difusión de la información científica. La

investigación científica se transmite cuando está publicada, formal o

informalmente, por canales convenciones de edición o por no

convencionales como los que constituyen la Literatura Gris, pero existe un

binomio indisociable que es el de investigación-publicación al que se da

respuesta mediante la aparición de ediciones de distinto signo y tipo. En

este apartado no se pretenden evaluar las publicaciones que pueda

efectuar una universidad, canalizadas habitualmente a través de un servicio

específico, sino la información sobre resultados de investigación de la

universidad, publicados como patentes, informes, actas de congresos, etc.

Un servicio de publicaciones suele responder a un concepto editorial más

amplio. Además es importante que desde la página de investigación se

ofrezcan también datos acerca de ésta con vistas a favorecer una difusión

adecuada y precisa de la misma al tiempo que incrementar la visibilidad

general que pueda revestir.

Los resultados este apartado son muy bajos, 1,5 sobre 10. La razón de

estos resultados no es tanto que las universidades no se preocupen de dar

16

fe de sus publicaciones científicas sino el hecho de que estas suelen estar

registradas en los catálogos que confeccionan los servicios de

publicaciones de las universidades en los que, además, suelen aparecer

servicios añadidos, como resúmenes de las obras, posibilidad de

descargarse algún capítulo etc. De todos modos una información no es

incompatible con la otra y mejoraría el conocimiento que se tiene de los

resultados de investigación de cada universidad. Por otra parte se ha

constatado que en algunas universidades, son los departamentos los que

incluyen las publicaciones en sus páginas propias. Lo cual, por otra parte

dificultad su accesibilidad y por otra ofrece una imagen negativa de la

universidad en la medida que no se establece un criterio común de

publicación de los resultados de investigación.

Otro elemento que se ha tenido en consideración por el valor de ayuda y

complemento que puede representar para el investigador, es el relativo a

los recursos auxiliares de investigación. En este punto las medias son

aceptables, 5 para el conjunto de las universidades. El mantenimiento y

alimentación de esta sección enriquece considerablemente la página Web

de investigación y es uno de los activos significativos de la misma, siempre

y cuando esté debidamente actualizada.

La existencia de información sobre las memorias de investigación que se

elaboran en cada universidad es otro de los elementos importantes que se

han considerado en la difusión de la investigación, por cuanto la memoria

representa una recapitulación y examen del curso y estado de la

investigación en la universidad. En este aspecto los resultados han sido

bajos, 4,74 sobre 10, con situaciones muy dispares entre unas

universidades y otras, dado que, en unos casos solo está disponible la

memoria del último año, en otros se mantiene una especie de archivo

histórico con las memorias de los años anteriores. Lo imprescindible en este

caso es que siempre esté la memoria correspondiente al último año, lo

deseable es que se incluyan las de los dos o tres años anteriores con objeto

de que se pueda comprobar la evolución de la investigación en cada

universidad.

Finalmente se ha considerado la necesidad de que las páginas web

incluyan perfiles de usuarios (investigadores, estudiantes de segundo y

17

tercer ciclo, etc) con objeto de optimizar el uso de las páginas. En este

sentido el nivel medio de las universidades es bastante bajo, 2,11, con sólo

tres universidades que incluyen esta distinción, la Universidad Autónoma de

Barcelona, la Universidad de Barcelona, y la Universidad Complutense de

Madrid.

f) Evaluación de la calidad. Con este criterio se ha pretendido constatar, en

primer lugar, de que manera aparece reflejada la política de calidad llevada

a cabo por la universidad en la web, no tanto comprobar si la universidad

desarrolla políticas de calidad como que éstas aparezcan explicitadas, para

conocimiento público, en la página web de la misma. Los resultados

generales son muy bajos, de hecho excepto la universidad de Cantabria

ninguna ofrece información alguna en sus páginas web sobre la política de

calidad que desarrolla. Esto, insistimos no evidencia que no este aplicando

esta, sino que no se ha considerado relevante recogerla como información

al usuario en sus páginas web. Otro aspecto que se ha considerado, en

tanto manifiesta una voluntad de mejora implícita en toda política de calidad,

es la existencia de un buzón de sugerencias. En este caso los resultados

son bastante más significativos por cuanto más de un 50% de universidades

cuentan con el mismo. También se ha analizado la existencia de encuestas

de satisfacción de usuarios con la página web. Este es un punto en que

ninguna universidad ha cumplimentado y consideramos que es importante

pues junto con las sugerencias que se puedan recibir permitiría conocer los

puntos fuertes y débiles de la página web y proceder en consecuencia a su

mejora.

g) Navegabilidad. Con este último criterio se ha pretendido comprobar la

capacidad de la página web para permitir por ella con facilidad y rapidez, sin

perder el sentido de la orientación necesario para que el usuario conozca en

todo momento donde esta situado. El resultado de este criterio, 6,94 sobre

10, lo sitúa, junto con el visibilidad, entre los mejor desarrollados por todas

las universidades.

Casi todas las universidades presentan el menú de contenidos en todas las

páginas de investigación lo que facilita el desplazamiento de un lugar a otro

sin temor a perder la secuencia de la búsqueda, igualmente permiten

moverse indistintamente desde los niveles más específicos a los más

18

genéricos, garantizando una buena navegación. Por otra parte la

terminología que se emplea es consistente y homogénea en todas las

páginas.

En definitiva este es un criterio bastante bien resuelto por todas las

universidades lo que evidencia la preocupación por encontrar soluciones

efectivas a la usabilidad de la página web.

CONCLUSIONES El desarrollo de la investigación ha permitido cumplir los objetivos planteados.

Esto es valorar la disponibilidad, desde el punto de vista de la cantidad y

calidad, de información sobre los resultados y la gestión de la investigación en

una muestra de diecinueve universidades. Partiendo de la perspectiva que la

Web es un espacio de transmisión y representación de la información vital en el

contexto de la sociedad de la información, la ausencia o inadecuada

representación de la información sobre investigación, reduce en gran medida la

accesibilidad de la misma al resto de la comunidad científica y la sociedad, e

incluso para los propios miembros de una universidad.

Como se ha definido en varias partes del presente informe, este trabajo no

intenta valorar la investigación de las universidades. Si no la visibilidad de la

misma a través de su representación en la red. De hecho estas dos

dimensiones no siempre poseen una vinculación directa. En el desarrollo del

proyecto se ha comprobado como la universidad que es considerada la que

más alto índice de resultados de investigación posee una organización y

presentación de su investigación a través de sus páginas web, no se

corresponde con esta situación. También se han comprobado situaciones

contrarias, que universidades con menores resultados de investigación poseen

excelentes páginas web destinada a este aspecto.

De las conclusiones extraídas se desprenden la necesidad de desarrollar

medidas de mejora que permitirán optimizar la visibilidad y acceso de la

información sobre la investigación de las universidades españolas.

REFERENCIAS

[1] Castillo Blanco, Lourdes; Martínez De Pablos, M. J.; Server, Gloria.

Evaluación de la información contenida en seis sedes web de las escuelas

19

universitarias y facultades de Biblioteconomía y Documentación españolas.

Revista Española de Documentación Científica. Vol. 23, n. 3 (1999), pp. 325-

330.

[2] Middleton, I.,; Mcconnell, M.; Davidson, G. Presenting a model for the

structure and content of a university World Wide Web site. Journal of

Information Science, 25, no. 3 (1999), pp. 219-227.

[3] Lawrence S.; Giles, C. L. Accessibility of information on the web. Nature. No.

400 (8 July 1999), pp.107-109.

[4] Badre, Albert. Shaping Web usability : interaction design in context. Boston :

Addison-Wesley, 2002.

[5] Chandler, Kreta ; Hyatt, Karen. Customer-centered design: a new approach

to Web usability. Upper Saddle River, N.J. : Prentice Hall PTR, 2003.

[6] Clauson, James R. Quality management resources on the Internet.

Rockville, Md. : Government Institutes, 1999.

[7] Krug, Steve. Don't make me think! : a common sense approach to Web

usability. Indianapolis, Ind. : Que, 2000.

[8] Wroblewski, Luke. Site-seeing : a visual approach to Web usability. New

York, NY : Hungry Minds, 2002

[9] Nielsen, Jacob. Designing Web usability. Indianapolis, Ind. : New Riders,

2000. xiii, 419 p.

[10] Corry, Michael D.; Frick, Theodore W.; Hansen, Lisa. User-Centered

Design and Usability Testing of a Web Site: An Illustrative Case Study.

Educational Technology Research and Development. Vol. 45, no. 4 (1997), pp.

65-76.

[11] Bantjes, L.; Cronje, J. C. An Analysis of Criteria for the Evaluation of

Educational Web Sites . South African Journal of Higher Education. Vol. 14, no.

1 (2000), pp. 121-129

[12] Mateos, Maria Buenadicha et. Al. . A New Web Assessment Index: Spanish

Universities Analysis. Internet Research. Vol. 11, no. 3 (2001), pp. 226-34.

20

[13] Olsina, L. et. al. Quality Characteristics and Attributes for Academic Web

Sites. En: Web Engineering Workshop at WWW8. Toronto, 1999

[14] Paisley, W. The future of bibliometrics. En: Borgman, C. L. (Ed.). Scholarly

communication and bibliometrics. Sage, 1990. pp. 281.299.

[15] Almind, Tomas C.; Ingwersen, Peter. Informetric analyses on the World

Wide Web: Methodological approaches to ‘webometrics’. Journal of

Documentation. Vol. 53, no. 4 (September 1997), pp. 404-426.

[16] Smith, Alastair; Thelwall, Mike. Web Impact Factors for Australasian

universities. Scientometrics. Vol. 5, no. 3 (2002), pp. 363-380.

[17] Thelwall, Mike. Conceptualizing Documentation on the Web: An Evaluation

of Different Heuristic-Based Models for Counting Links between University Web

Sites. Journal of the American Society for Information Science and Technology.

Vol. 53, no. 12 (Oct. 2002), pp. 995-1005.

[18] Bray, T. Measuring the Web. Fifth International World Wide Web

Conference, (Paris, France, 6-10 May 1996).

http://www5conf.inria.fr/fich_html/papers/P9/Overview.html. Consultado: Junio

2003

[19] Alonso Berrocal, J. L. CIBERMETRÍA; Análisis de los dominios Web

españoles. Salamanca: Ediciones Universidad de Salamanca, 2002.

21

ANEXO

Listado de universidades españolas estudiadas

1) Universidad Autónoma de Barcelona.

2) Universidad Complutense de Madrid

3) Universidad de Barcelona

4) Universidad de Cantabria

5) Universidad de Castilla la Mancha

6) Universidad de Extremadura

7) Universidad de Granada

8) Universidad de Illes Balears

9) Universidad de la Laguna

10) Universidad de la Rioja

11) Universidad de Murcia

12) Universidad de Navarra

13) Universidad de Oviedo

14) Universidad de Salamanca

15) Universidad de Santiago de Compostela

16) Universidad de Zaragoza

17) Universidad del País Vasco

18) Universidad Politécnica de Madrid

19) Universidad Politécnica de Valencia