eLA EVALUACIÓN INSTITUCIONAL DE LA UNIVERSIDAD

JOSÉ-GINÉS MORA (*)

INTRODUCCIÓN

En los últimos años la evaluación de lacalidad de los servicios que prestan las ins-tituciones universitarias se ha convertidoen un tema prioritario de la política univer-sitaria en todos los países. El creciente in-terés por la calidad, ha generado unasituación bautizada por Neave (1988, 1997)corno el «estado evaluativa de los sistemasuniversitarios. Esta predisposición hacia laevaluación lleva implícita un cambio en laperspectiva bajo la que se considera la edu-cación superior. Se ha pasado de una visiónpurocrática del sistema a una visión másautónoma y orientada a métodos de merca-do, lo que implica, no sólo una mayor y me-jor evaluación de las instituciones, sinotambién una perspectiva diferente que su-pone, además de una verificación del fun-cionamiento del sistema, un método paramejorarlo (Hüfner y Rau, 1987).

El objetivo del presente articulo es elde presentar algunas cle las ideas básicasque inspiran el actual proceso de evalua-ción de las universidades. En primer lugarse consideran los rasgos de la evolución dela educación superior que justifican el ac-tual interés por la calidad y su evaluación.En la segunda parte se presentan algunasideas básicas sobre los procesos de evalua-

ción institucional, reflexionando sobre elorigen y las consecuencias de estos procesos.

LA RECIENTE EVOLUCIÓN DE LAEDUCACIÓN SUPERIOR

La educación superior ha sufrido entodo el mundo transformaciones radicalesen las últimas décadas. En los sesenta, lasuniversidades iniciaron cambios importan-tes que transformaron instituciones de eliteen instituciones cle masas. El fuerte incre-mento en el tamaño de las cohortes deedad que alcanzaban la edad de ingresoen la universidad y el desarrollo económi-co generalizado fueron los factores clavespara que todas las fuerzas políticas y eco-nómicas se pusieran implícitamente deacuerdo en promover el desarrollo de laeducación superior. Los gobiernos seaprestaron a satisfacer la creciente deman-da social mediante la creación cíe nuevoscentros universitarios, la ampliación de losexistentes y, en general, con la asignaciónde mayores recursos a la educación supe-rior. El objetivo primordial durante ese pe-ríodo fue desarrollar el sistema universitariode modo que proporcionara oportunidad deacceso al mayor número de ciudadanos.

En la década de los setenta, se conjun-tan varios hechos que provocan un cambio

09 Universidad de Valencia. Miembro del Comité Técnico del Plan Nacional de Evaluación de la Calidadde las Universidades.

Revista de Educación, núm. 315 (1998), pp. 29-44

29

sustancial en la tendencia y en los puntosde vista que sustentaron la expansión delos años precedentes: a) la disminución enel tamaño de las cohortes de jóvenes ', loque hacia prever una disminución o estabi-lización en el número cle alumnos de edu-cación superior; y b) una crisis financierade la educación superior como consecuen-cia cle los primeros síntomas de lo que seha llamado crisis del estado de bienestar ydel gran crecimiento de los costes de lospropios sistemas de educación superior.En los países en el que el gasto en educa-ción superior era más elevado (especial-mente en el Reino Unido) se producenrecortes en el presupuesto de la educaciónsuperior, cambiando la tendencia crecienteque se mantenía en los años anteriores(Kaiser y otros, 1992). La meta de los res-ponsables del sistema universitario duranteeste periodo fue instaurar un sistema degestión del proceso universitario, que valo-rara la efectividad y, especialmente, la efi-ciencia de las instituciones universitarias,generándose una amplia controversia so-bre la necesidad cle introducir indicadoresde rendimiento del sistema universitario, engeneral, y de las instituciones, en particular.

Bien entrados ya los años ochenta, lasuniversidades de los países desarrolladosinician una situación de relativa estabili-dad, tanto en el número cle alumnos comoen las aportaciones públicas al presupues-to universitario. En este periodo se produ-ce un fenómeno importante en la mayoríade los países europeos: la ampliación de laautonomía cle las universidades públicas.Este incremento de la autonomía es frutode una nueva manera de afrontar la ges-tión cle las instituciones públicas por partedel propio Estado. Esta nueva concepciónde la gestión pública (neu'public manage-

ment) se basa en los siguientes principios(Dill, 1997a): a) separar los intereses del go-bierno como «propietario. o financiador deuna agencia de sus propios intereses corno«cliente« de la misma agencia; b) fijar los ob-jetivos de rendimiento para las agenciasgubernamentales; c) delegar en las agen-cias la responsabilidad sobre el origen y eluso de los recursos; d) estimular el rendi-miento a través de contratos explícitos,la competencia entre agencias e incluso suprivatización.

Como consecuencia de la nueva con-cepción de la gestión pública, de la am-pliación de la autonomía y de la relativaestabilidad financiera y humana de lasuniversidades, existe un acuerdo genera-lizado de que ha llegado el momento dela calidad; de que es necesario dedicaruna especial atención a conseguir que lasuniversidades se conviertan en organiza-ciones efectivas para los propósitos que lasociedad demanda, conectadas con sus ne-cesidades económicas y culturales, efica-ces en su gestión y capaces de dar a losindividuos una educación flexible que lesfacilite la adaptación a un mundo tecnoló-gica y culturalmente cambiante.

ALGUNAS RAZONES PARA EL INTERÉSPOR LA CALIDAD

Además de las razones políticas y es-tructurales mencionadas, existen otras ra-zones, de carácter fundamentalmenteeconómico, que justifican que la preocu-pación por la calidad del servicio queproporcionan las universidades haya ad-quirido recientemente una especial rele-vancia:

(1) En España, la disminución de las cohortes de edad se produjo con diez años de retraso respecto a lamayoría de los países desarrollados.

30

• El proporcionar formación de calidada una sociedad tecnológicamenteavanzada es actualmente un objetivoeconómicamente importante para lossistemas de educación superior. Enestos momentos de creciente compe-titividad internacional, la única solu-ción razonable que tienen los paísesmás desarrollados para mantener sucompetitividacl sin deteriorar suscondiciones socio-laborales es me-diante la mejora de la productividad,unida al desarrollo tecnológico (Le-vi y Rumberger, 1989). La educa-ción, especialmente la superior, estásiendo considerada de nuevo comouna de las piezas claves para afrontarel futuro, como fuente de desarrolloeconómico y tecnológico (EC, 1991).

• El importante volumen de recursosdedicados a la educación superiorexige el control de la eficiencia delas universidades. La educación su-perior, por su propia naturaleza, esuna insaciable consumidora de recur-sos, que introduce pocas mejoras ensu productividad interna, pero quetiene continuos incrementos decostes, especialmente los de su per-sonal altamente cualificado.

• La creciente tendencia en los paísesdesarrollados al control de calidad detodos los productos y servicios, porexigencia de los propios consumi-dores, esta trasladándose a camposcomo el de la educación superior,en los que los usuarios cada vezmás demandan niveles adecuadosde prestación del servicio, así comodiversidad y flexibilidad para satisfa-cer sus necesidades personales.

• Las exigencias de información porparte de los empleadores sobre lascualificaciones de los universitarioshace necesario establecer sistemasde control de la calidad de la edu-cación superior que sirva de refer-encia a los primeros.

• Recientemente ha aparecido el pro-blema del desempleo de los univer-sitarios, lo que obliga a reflexionarsobre la adecuación entre la ofertade las universidades y la demandareal de la sociedad, o sobre la adap-tabilidad a la realidad del mercadode trabajo de la formación que seoferta desde las universidades.

• La libre circulación de trabajadoresdentro de las fronteras de la UniónEuropea, especialmente de los máscualificados, exige el reconocimientocomunitario de las cualificacionescon fines académicos y profesiona-les. Dado que los sistemas europeosde educación superior son diferen-tes, parece razonable pensar en lacreación de mecanismos europeosde control de la calidad de las cua-lificaciones universitarias. En estesentido, existe una reciente pro-puesta de la Comisión Europeapara que se instauren programas deevaluación de la calidad en los paí-ses miembros.

Cualquiera de estas razones es motivosuficiente para que la calidad de las institu-ciones universitarias sea en la actualidad unapreocupación primordial de las políticas uni-versitarias. Así lo han entendido la mayoríade los países, iniciando la aplicación de dife-rentes estrategias para la mejora de la calidadde las instituciones universitarias.

ESTRATEGIAS EN BÚSQUEDA DE LACALIDAD

Existen al menos tres estrategias bási-cas aplicables a la búsqueda de la mejorade la calidad en las universidades. Estas es-trategias no son alternativas, y de hechosería aconsejable realizar esfuerzos políti-cos e institucionales para desarrollarlas almismo tiempo. Son éstas:

31

• Una primera estrategia es la de uti-lizar los mecanismos de financia-ción cle la educación superior comoinstrumentos en la búsqueda de laeficacia y la equidad del sistemauniversitario. Este ha sido un objeti-vo de la política financiera universi-ta da en los Estados Unidos desdeprincipio de los ochenta y que estáactualmente implantada en la mayo-ría de los estados norteamericanos(Layzell, 1998). Políticas semejanteshan sido propuestas más reciente-mente en muchos otros países desa-rrollados (OCDE, 1990; Flólttii, 1998).En la última década los gobiernoshan descubierto que los incentivosfinancieros son un mecanismo másefectivo para influir en el funciona-miento cle las universidades que lapura intervención administrativaque usaron en otros momentos, yaque estos incentivos cambian lasactitudes de las instituciones y elcomportamiento del profesoradoen la búsqueda de la calidad. Dentrode esta estrategia, se dan tres tipos deactuaciones: la diversificación delas fuentes de financiación, los cam-bios en los mecanismos cle asigna-ción de recursos a las institucionespúblicas y los cambios en los crite-rios de distribución interna. En lostres casos el objeto es ligar, en algu-na medida, la financiación pública ala consecución cle objetivos de cali-dad y eficiencia. Algunas propues-tas recientes en España también vanen la misma dirección (Consejo deUniversidades, 1995; Mora, 1997a;Montserrat, Mora y San Segundo,1997; UPC, 1997).

• La segunda estrategia que esta sien-do puesta en práctica por la mayorparte de los países europeos es lade la evaluación de la calidad de lasuniversidades. Los recientes experi-mentos de evaluación realizados en

Europa (Frazer, 1997) y los progra-mas vigentes ya en varios países eu-ropeos, entre ellos España (Mora,1997b; Consejo de Universidades,1998; Mora y Vidal, 1998; y el restode los artículos de esta revista), sonuna muestra del creciente interéspor esta estrategia de búsqueda dela calidad.

• La tercera estrategia es dejar quesea el mercado quien decante la ca-lidad, como sucede en gran medidaen los Estados Unidos. Las condi-ciones cle un mercado amplio, en elque existe un alto nivel de diferen-ciación y de competitiviclad entrelas instituciones educativas, con unelevado nivel cle información publi-ca sobre ellas, junto con una granmovilidad de los estudiantes, hacenviable que el mercado actúe comopromotor de la calidad. Sin embar-go, la mayoría de esas condicionesno se clan actualmente en los paíseseuropeos, por lo que la atenciónpor la calidad no parece posible de-jarla solamente en manos del mer-cado aunque éste deba tener unainfluencia cada vez más activa. Alanálisis de esta estrategia dedicare-mos el siguiente apartado.

EL MERCADO, FUERZA COORDINADORA DELSISTEMA UNIVERSITARIO

Los sistemas universitarios públicos es-tán sometidos a dos fuerzas contrapuestas:el control estatal y la autonomía universita-ria. Todos los sistemas universitarios seubican en algún punto intermedio en la lí-nea de interacción cle ambos factores. Apartir de los primeros años de la década delos ochenta, en todos los países europeosse ha producido un incremento en la auto-nomía de las universidades, posiblementeporque los gobiernos han percibido la clifi-

32

cultad e inconveniencia de seguir mante-niendo un control rígido sobre la Universi-dad en un mundo tan cambiante (Neave yvan Vught, 1991, 1994).

Desde otro punto de vista, las univer-sidades son unidades productivas en lasque existe una lógica tensión entre los queofertan el producto y los que lo deman-dan. Debemos entender por demandantes,no sólo a los alumnos que desean recibiruna enseñanza, sino también a los emplea-dores, a la sociedad con sus demandas cul-turales, y a las empresas que necesitanservicios y conocimientos innovadores ne-cesarios para su desarrollo. En términosgenerales, las universidades europeas hanestado tradicionalmente dirigidas por laoferta (el Estado o los académicos) quehan interpretado las demandas según suscriterios particulares, mejor o peor conec-tados con la realidad. Sólo recientementese han iniciado procesos para permitir quela demanda sea también una fuerza direc-tora del sistema universitario.

Clark (1983) conjugó ambas líneas detensión en lo que llamó el triángulo decoordinación de los sistemas universita-rios. Según Clark, todo sistema universi-tario se puede ubicar en algún lugarinterior cle un triángulo cuyos vérticesson: el Estado, la oligarquía académica yel mercado. Entendiendo el mercado noen un sentido economicista, sino como lamanifestación cle las demandas y necesi-dades de la sociedad respecto a la educa-ción superior. Dadas las connotacionesnegativas que para muchos académicoseuropeos tiene el término mercado (con-trariamente al sentido positivo que tieneen la cultura americana del autor del es-quema) podíamos llamar sociedad a estevértice del triángulo, sin que por ello cam-biara su sentido original.

La experiencia acumulada enseña que lossistemas universitarios deben mantenerse dis-tantes del poder directo del Estada Éste, comofuerza reguladora de la educación superior,muestra una clara tendencia hacia la burocrati-zación, lo que resulta esterilizante en unas ins-tituciones como las universitarias en las que,hoy más que nunca, la adaptabilidad constantedebe ser una norma. Por otro lado, la expe-riencia muestra que dejar en manos de los aca-démicos el gobierno de las universidadesgenera peligrosas tendencias corporativas 2.

El cambio de una universidad de elites auna universidad de masas; la necesidad demejora; la creciente complejidad de las univer-sidades; la competitiviclad y la diversificación aescala internacional y nacional, hacen que unacreciente proporción de la comunidad univer-sitaria, los gobiernos de los países occidentalesy los expertos en educación superior estén deacuerdo en que los sistemas universitarios de-ben inclinarse más hacia el mercado (socie-dad) como medio de estimular la sensibilidadde las instituciones a satisfacción de las de-mandas sociales (Neave y Van Vught, 1991).Esta markrtizatton de la educación superior(Williams, 1995) está basada en la creencia delas nuevas tendencias de mercado en la educa-ción superior proporcionará incentivos a lasuniversidades para mejorar la calidad de la en-señanza y de la investigación. Así mejorarán,también, la productividad académica, para es-timular la innovación en los programas de en-señanza y los servicios que proporciona a lasociedad en general (OCDE, 1990; World Bank,1994; UNESCO, 1995; Dill, 1997b).

La decantación hacia el mercado (so-ciedad) pondría de manifiesto las preferen-cias de los usuarios directos (estudiantes) eindirectos (empleadores), generándose unclima de competencia por los recursos y porlos clientes estimulante para la atildad cle lasinstituciones. Sin embargo, como en otros as-

(2) La reforma de los planes de estudio en la Universidad española es un ejemplo claro de como los in-

tereses corporativos de los académicos pueden prevalecer sobre los de la sociedad e incluso sobre los de lainstitución.

33

pectos, el mercado tiene una limitación genera-da por deficiencias en la información. La correc-ta información, imprescindible para un buenfuncionamiento del mereado, tiene algunos pro-Mentas en el mundo de la educación superior:a) en primer lugar, la información sobre lasuniversidades y sobre las oportunidades de lasdistintas elecciones que han de hacer los usua-rios suele ser escasa, sobre todo en los sistemaspúblicos de educación superior, b) aunque lainformación de que dispusieran los usuariosfuera mucho más completa, la lentitud de losprocesos educativos hace que el lapso detiempo entre el momento en que esa informa-ción fue generada, la toma de decisión delusuario y el momento en el que se van a pro-ducir los resultados de su decisión, estén de-masiado distantes en el tiempo; y c) losusuarios directos de la educación superior, jó-venes en su mayoría y con una lógica falta demadurez, no usan siempre correctamente lainformación disponible 3 . Por estas razones, elmercado no puede ser el único modo de esti-mular la calidad de las universidades. Aunquees necesario introducir componentes de mer-cado en el sistema universitario, hay que com-patibilizarlos con otras estrategias financieras yde evaluación que corrijan las deficiencias delmercado. Al análisis de los rasgos básicos de eva-luación institucional, como estrategias para la me-jora de la adiad dedicaremos el resto del articulo.

LA EVALUACIÓN INSTITUCIONAL: UNCAMINO HACIA LA CALIDAD

ORIGEN DE LOS PROCESOS DE EVALUACIÓN

La discusión sobre los distintos modosde ejercer el gobierno de las universidades

y sobre el control de sus procesos se pue-de remontar a la Edad Media cuando ya seperfilaron al menos tres modos de ejercerel control de las instituciones (van Vught,1995). Un modelo de control externo (laUniversidad de París), otro modelo endonde los propios académicos ejercíanplenamente el gobierno de las institucio-nes (universidades de Oxford y Cambrid-ge) y un caso extremo de mercado (laUniversidad de Boloña), en donde los es-tudiantes controlaban la organización, te-niendo incluso la potestad de contratar ydespedir a los profesores (Amaral, 1997).

En la universidad moderna que se creaen el siglo XIX encontramos tres tipologíasbásicas de sistemas universitarios en lo querespecta a los mecanismos de garantizar lacalidad:

• La universidad nacional de carácterestatal, que se da preferentementeen la Europa continental y en Ibe-roamérica, en la que los gobiernosejercen un control rígido sobre lasinstituciones, ya que éstas son bási-camente dependencias de la admi-nistración del Estado 4 . En estemodelo de universidad los procesosestán regulados ex-ante por el pro-pio Estado, por lo que la -evalua-ción- se reduce a la comprobacióndel nivel de cumplimiento de lasnormas previamente establecidas.

• La universidad inglesa, en la que lastres universidades más antiguas(Oxford, Cambridge y Londres)ejercían tradicionalmente el con-trol de la calidad de las universida-des y revisaban los procesoseducativos del resto de las institu-

(3) Las preferencias que suelen manifestar los estudiantes de COU respecto a los estudios a seguir son

una muestra clara del uso inadecuado de la información que disponen.

(4) Se olvida, con frecuencia, que el carácter estatal de las universidades nace como mecanismo de los

estados nacionales-liberales del siglo pasado para independizar a las universidades de los poderes eclesiásticos

y aristocráticos del Antiguo Régimen a los que habían estado sometidas. En su momento, la .estabilización- fue

un mecanismo de liberación de las universidades.

34

ciones. Esta tradición pasa con pos-terioridad a agencias colegiadas,pero manteniéndose el mismo es-píritu de que son los propios cole-gas los responsables de mantenerlos estándares de calidad.

• La universidad norteamericana quenace con una estructura de institu-ciones privadas 5 . Incluso cuando sefundan las universidades públicas,éstas gozan de una amplia autono-mía frente a los poderes públicos.Un modelo de instituciones autóno-mas y diversificadas en objetivos yfunciones (3,700 instituciones deeducación superior en la actuali-dad) se ha inclinado hacia el merca-do como manera de estimular lacalidad. Sin embargo, para garanti-zar la información hacia los clientessobre la calidad se instauró el siste-ma de acreditación que describimosa continuación.

LA ACREDITACIÓN NORTEAMERICANA

La acreditación es la forma más anti-gua de evaluación de la calidad en las uni-versidades estadounidenses, públicas yprivadas 6 . La acreditación es realizada poragencias especializadas, organismos de ca-rácter privado sustentados por las propiasuniversidades. La principal misión de esteproceso es la de promover las mejoras eidentificar aquellas instituciones y progra-mas que están alcanzando las propias me-tas que se han establecido (Kells, 1988). Laacreditación es solicitada voluntariamentepor las instituciones universitarias, y aun-que no son necesarias para el funciona-miento de las instituciones, existen toda

una serie de beneficios que no es posibleobtener si se carece de la acreditación per-tinente. Existen dos tipos de acreditación:la institucional y la de programas. En laprimera se acredita una institución comoun todo, es decir, de sus programas docen-tes, de su actividad investigadora, de losservicios que se ofrecen a los estudiantes yde los servicios administrativos. El segun-do tipo de acreditación está dedicado a laevaluación de programas académicos es-pecíficos de tipo profesional (medicina,derecho, etc.) con el objetivo básico decertificar la calidad de la formación de esosprogramas para el ejercicio cle la profesión.Existen varias agencias regionales querealizan el proceso de acreditación del pri-mer tipo, y más de cuarenta agencias deacreditación especializadas en programaso grupos de programas, todas ellas con ca-rácter nacional y controladas por las pro-pias asociaciones profesionales del ramocorrespondiente.

Los rasgos básicos del proceso de acre-ditación han sido importados a Europa y es-tán en la base de los actuales procesos deevaluación europeos. Es por eso que me-recen considerarse con algún detalle. Elproceso de acreditación sigue unos pasoscomunes:

• La institución o programa que de-sea ser acreditado presenta un ati-toestuclio realizado en la propiainstitución en el que se describe yse auto-analiza.

• Un equipo de evaluación formadopor colegas elegidos de otras insti-tuciones, visita la institución o pro-grama, evaluándola a la luz de losdocumentos del autoestudio pre-sentado por la institución y de las

(5) En este caso la privatización fue también un mecanismo para liberar a las universidades norteameri-canas de la influencia de la metrópoli.

(6) En 1847 se inició el proceso de acreditación de las facultades de Medicina y en 1885 la acreditaciónglobal de las universidades de New England. Procesos que, paulatinamente, fueron extendiéndose a otras pro-fesiones y a otras regiones.

35

propias normas de la agencia.Como resultado el equipo elabo-ra un informe que envía a la pro-pia institución y a la agencia deacreditación.

• La institución, o el programa, res-ponde formalmente al informe delequipo de evaluación.

• La comisión de acreditación de laagencia decide conceder, dene-gar o confirmar la acreditación ala luz del autoestudio, del informedel equipo y de la respuesta de lainstitución.

La acreditación ha cíe ser confirmadacada diez años, pero las propias agenciashan estimulado en los últimos tiempos mé-todos de autoestudio continuos para quelas propias instituciones estén controlandocontinuamente el propio funcionamientode la institución y de sus programas.

Algunos de los rasgos que definen elproceso de acreditación y que se han aca-bado imponiendo como mecanismos deevaluación de la calidad en casi todos lospaíses son éstos:

• No se evalúa la calidad absoluta,entendida como excelencia, sino larelación entre las nietas propuestasy los resultados obtenidos.

• El proceso es auto-regulado, es de-cir, son las propias instituciones lasque generan el proceso.

• El proceso se articula a través de unautoestuclio que realizan las propiasinstituciones y que es revisado poruna comisión externa.

• Los indicadores de rendimiento noson una herramienta central en elproceso.

• Los resultados de la acreditación nose utilizan para elaborar clasifica-ciones entre universidades.

Tras muchos años de práctica de estosprocesos de acreditación, en Estados Uni-dos hay actualmente un debate sobre la

utilidad del proceso. Una de las conse-cuencias de la aplicación reiterada de esteproceso es que las instituciones ya han in-teriorizado los mecanismos de calidad, in-corporándolos a su práctica habitual, demodo que los procesos de acreditacióntienden a ser un proceso burocrático de in-terés decreciente. La madurez del sistemaes precisamente la causa de su crisis. Parasuperarla, se ha propuesto convertir losprocesos de acreditación en procesos deauditoria de la calidad, es decir, en proce-sos de meta-evaluación de la calidad.

EXPERIENCIAS EUROPEAS DE EVALUACIÓN

En estos momentos existen sistemasde evaluación de la calidad de las universi-dades en la práctica totalidad de los paíseseuropeos. Un reciente informe sobre estacuestión (Frazer, 1997) revela que en prác-ticamente todos los países de Europa (deleste y del oeste) se han establecido agen-cias para la evaluación de la calidad de laeducación superior, aunque la mayoría deellas acaban de iniciar ahora su andadura.Independiente de estos procesos naciona-les existe una recomendación reciente dela UE para establecer mecanismos de eva-luación transnacionales. Como ejemplo desistemas de evaluación más arraigados pre-sentamos unas breves reseñas sobre losmodelos utilizados en los Países Bajos, In-glaterra y Francia.

LA EVALUACIÓN EN LOS PAÍSES BAJOS

Los Países Bajos es uno de los paíseseuropeos donde mayor interés y dedica-ción ha suscitado el problema de la calidadde la educación superior. En 1985 el go-bierno holandés hizo público un docu-mento en el que definía su nueva políticarespecto a las universidades. En este clocu-

36

mento se introducían planes para desarro-llar la autonomía de las instituciones, a lavez que se proponían métodos para au-mentar el control de calidad sobre ellas(Westerheijden, 1998). Básicamente el ob-jetivo del informe era el de cambiar el con-trol ex-ante de las instituciones por uncontrol ex-post, de tal modo que la inter-vención del Estado debería reducirse aaquellos casos en los que por alguna razónse produzcan efectos contraproducentes.

Como contrapartida al aumento de laautonomía de las instituciones, el gobiernoholandés pidió a las universidades que ini-ciaran procesos de evaluación. La respues-ta de la VSNU, organismo formado portodas las universidades holandesas, fueponer en marcha la evaluación de la ense-ñanza de las distintas disciplinas académi-cas. El proceso de evaluación está basadoen el autoestudio realizado por los propiosdepartamentos que es contrastado poste-riormente por un comité que visita las ins-tituciones. Es decir, se estableció unmecanismo semejante al de la acreditaciónnorteamericana, aunque con objetivos dis-tintos. Posteriormente, se ha implantadoun sistema de evaluación de la investiga-ción, también gestionado por la VSNU, ba-sado en los autoestudios que realiza cadadepartamento.

LA EVALUACIÓN EN INGLATERRA

Tradicionalmente, la calidad docentede las universidades inglesas ha estado ga-rantizada por examinadores externos,nombrados por las mismas universidades,que controlan la calidad de la formaciónde los graduados que salen de ellas. Estesistema sigue en vigor en la actualidad, sinembargo, ha sido creado recientemente unnuevo organismo, la Académic Audit Unit,con el fin de asistir a las universidades ensus responsabilidades para la garantía de lacalidad. Se trata de un organismo que ins-

pecciona las universidades por .invitaciónnegociada . de ellas. Su función es la meta-evaluación, es decir, que sólo evalúa loadecuados que son los mecanismos inter-nos de cada institución para asegurar la ca-lidad de la enseñanza y la gestión. Laevaluación la realiza un comité externoque se basa en el informe que presentacada universidad, así como en la propia vi-sita. Los resultados pueden ser públicos sila universidad lo desea.

LA EVALUACIÓN EN FRANCIA

La preocupación en Francia por la eva-luación de su sistema de educación supe-rior se concretó en 1985 cuando se creó elComité National d'Evaluation (Staropoli,1998). Éste es un organismo autónomo di-señado para hacer juicios sobre la calidadde la investigación y de la docencia, nosólo de las universidades en su conjunto,sino también de otros centros educativossuperiores y de centros de investigación. Elmétodo operativo de este comité es el denombrar un pequeño equipo de expertosque visitan cada institución, examinan to-das sus componentes in sini, e informandirectamente al comité. Las universidadesno han de hacer necesariamente ningúninforme previo para el equipo, pero hande facilitar toda la información disponiblepara que el equipo pueda conocer todoslos datos que desee. Todos los aspectos dela universidad deben ser objeto de evalua-ción. En las evaluaciones realizadas hastala fecha, han sido utilizados expertos enlas principales áreas que visitan cada uni-versidad durante un corto periodo de tiem-po, siguiendo una metodología preparadade antemano por el secretariado del comité.Los datos recogidos por estos observado-res son posteriormente analizados en esesecretariado, quien, basándose en ellos,elabora un informe final sobre la institu-

37

ción. La publicación del informe final espotestad de la universidad.

LOS RASGOS BÁSICOS DE LA EVALUACIÓNINSTITUCIONAL

Los procesos de evaluación de EstadosUnidos y cle los países europeos que ini-ciaron estos procesos han ido decantandoun amplio asenso sobre la manera de eva-luar la calidad de las instituciones universi-tarias que está siendo mayoritariamenteseguido por las agencias de evaluación detodo el mundo. Los rasgos básicos de estosprocesos cle evaluación institucional sonpresentados a continuación.

¿QUÉ ES LA EVALUACIÓN INSTITUCIONAL?

Aunque la calidad es un concepto difi-cil de definir, todos estaríamos de acuerdoen que una institución universitaria seacerca a ella sólo cuando combina, en unaproporción adecuada, un amplio conjuntocle elementos básicos, cada uno de los cua-les, por su parte, funciona correctamente.Una universidad sólo puede alcanzar unnivel de calidad aceptable cuando los ele-mentos humanos, financieros y físicos, laenseñanza y la investigación, la organiza-ción y la dirección, son en conjunto apro-piados para los fines que la instituciónpersigue. Por tanto, la evaluación de la ca-lidad de una universidad sólo es posiblehacerla globalmente, evaluando cada unade sus piezas, pero dedicando especialatención al funcionamiento del conjunto.Este es el enfoque que adopta la evalua-

ción institucional.La evaluación institucional se define

como un intento de valorar globalmentecomo se están cumpliendo las metaspreestablecidas de una institución universi-taria. Evidentemente, y como se desprende

de la propia definición, la evaluación exigehaber definido previamente y con claridadcuáles son las metas que persigue la institu-ción. Ésta es una primera dificultad, sobretodo en instituciones como las españolas,que empiezan a ejercer su autonomía yque provienen de un origen común decompleto control estatal, en el que los ob-jetivos estaban implícitos y no diferencia-dos. Pero, por otro lado, esta dificultad esa su vez uno de los primeros beneficiosque pueden extraerse de la evaluación: lanecesidad de las instituciones cle definirsus objetivos. Ante esta dificultad generali-zada, en las instituciones europeas el pun-to de vista para la evaluación esesencialmente pragmático: la calidad sevalora por la conjunción de opiniones delas partes interesadas y por un conjunto decriterios cualitativos y cuantitativos relacio-nados con la calidad basados fundamental-mente en el análisis cle los procesos. Sepodría afirmar que la calidad no se mide,pero se crean mecanismos de aproxima-ción a ella.

¿PARA QUÉ EVALUAR?

Hay dos enfoques básicos para lasevaluaciones institucionales (in't Veld,1990): el que centra su atención en las me-didas de rendimiento y de rendición decuentas, y el que enfatiza los aspectos demejora del proceso. Aunque estos dos en-foques básicos pueden darse combinados,existe obviamente una cierta tensión entreellos.

La opinión mayoritaria entre los exper-tos en evaluación es que la mejora de lacalidad de las instituciones debe ser el ob-jetivo esencial de la evaluación. Mejorar laefectividad del sistema debe ser prioritariofrente a otros objetivos, también importan-tes y legítimos, como pueden ser mejorarla eficiencia, facilitar la gestión, reasignarrecursos, premiar o penalizar en función

38

del rendimiento. Por otra parte, por moti-vos tácticos es razonable que la calidad seael objetivo esencial de la evaluación yaque este enfoque resulta el más conve-niente para dar los primeros pasos en lainstauración de un sistema de evaluación,permitiendo implantar la evaluación con lamayor suavidad y colaboración posible.

Durante la década de los ochenta hubo,especialmente en el Reino Unido, una ten-dencia a desarrollar el enfoque más conec-tado con valoraciones de la eficiencia y delos factores económicos, en detrimento deotros aspectos como la efectividad y el de-sarrollo profesional y educativo (Pollitt,1987). Aunque esta tendencia ha perdidoimportancia, en el caso de institucionespúblicas, la rendición de cuentas es un ob-jetivo que no puede ser obviado en losprocesos de evaluación.

En el informe ya citado (Frazer, 1997),las agencias europeas consultadas conside-ran que el objetivo más importante de laevaluación es ayudar a las instituciones deeducación superior a mejorar. El segundoobjetivo más destacado es el de hacer so-cialmente más responsable el sistema deeducación superior, mientras que suminis-trar información a los usuarios directos delas instituciones y a los empleadores es eltercer objetivo que las agencias de evalua-ción europeas señalan como más relevante.

¿QUÉ SE EVALÚA?

Realizar una evaluación institucionalsupone fijar la atención del evaluador so-bre aquellas cuestiones que se considerenbásicas para la consecución de los objeti-vos de la institución. Aspectos que debenser objeto de revisión en toda evaluacióninstitucional son los siguientes:

Enseñanza:

• Aprendizaje de los estudiantes.• Rendimiento docente del profesorado.

• Programas académicos.• Medios docentes disponibles (espa-

cio, bibliotecas, ordenadores, etc.)

Investigación:

• Productividad investigadora.• Calidad de la investigación.• Dotaciones para la investigación.

Servicios:

• Gobierno de la institución.• Gerencia y administración.• Servicios disponibles para estudian-

tes y profesores.

Aceptando la necesidad de evaluar lostres aspectos básicos de la función univer-sitaria, esta evaluación puede llevarse a lapractica conjuntamente o por separado,pudiéndose usar criterios y mecanismos di-ferentes para cada uno de los tres aspectoscitados. Sin embargo, es muy importanteque se evalúen todas las dimensiones delsistema (input, proceso y output), evitandocentrarse solo en aquellas característicasque son más sencillas de evaluar.

En el citado informe de Frazer (1997),todas las agencias europeas consultadas re-alizan evaluación de la enseñanza, en tornoa dos tercios evaluaban, además, la eficaciay la eficiencia de las instituciones, y sólo untercio evaluaban la investigación, posible-mente porque esta evaluación se realiza a ni-vel no institucional (individual o porproyectos) en otras agencias evaluadoras.

¿CUÁLES SON LOS MECANISMOS DE LAEVALUACIÓN?

Tres son los instrumentos básicos deevaluación que en la práctica se encuentranentremezclados con diferentes intensidades:

Auto-evaluaciones. Un autoestudio reali-zado por las unidades evaluadas.

39

Revisiones por colegas. Visitas externasde expertos que realizan, totalmente oen parte, el proceso de evaluación.

Indicadores de rendimiento. Indicado-res, generalmente cuantitativos, quesuministran información operativa so-bre el funcionamiento de las institucio-nes y sobre su eficacia.

El mecanismo de autoevaluación segui-do por visitas externas de colegas es el mástípico proceso de evaluación. Este método sefundamenta en la hipótesis de que el sistemauniversitario es tan complejo que los que es-tán inmersos en él son los más capacitadospara opinar sobre la calidad o el buen fun-cionamiento de las instituciones universita-rias. Los indicadores de rendimiento sondefendidos por los más interesados en losmecanismos de gestión y control de las insti-tuciones, aunque no son considerados yapor ningún experto como un método alterna-tivo de los otros mecanismos, aunque si tie-nen un interés indudable como complementode otros procesos evaluadores.

Los autoestuclios seguidos por revisio-nes por colegas son utilizadas por todoslos países europeos que han iniciado pro-cesos de evaluación. En muchos de elloslos indicadores de rendimiento son tam-bién recomendados por la propia agenciaevaluadora (Frazer, 1997).

EL AUTOESTUDIO

La pieza clave del proceso de evalua-ción institucional, tal como es entendidoactualmente en todos los países, es el au-toestuclio. El autoestudio es un métodopara estimular la auto-reflexión, ofrecien-do a una institución la oportunidad de pre-

guntarse acerca de sí misma, con el objeti-vo básico cle mejorar la calidad de sus pro-gramas y servicios. El proceso cleautoestudio es una revisión completa demedios, funcionamiento y resultados de lainstitución. El autoestudio permite encon-trar los puntos débiles y fuertes de una ins-titución, facilitando de este modo la misiónde los que han de tomar decisiones paramejorar la calidad de los servicios.

Un rasgo básico del autoestudio es quees una empresa conformada por las pro-pias instituciones evaluadas. La institucióndebe encontrar en el autoestudio un meca-nismo que satisfaga sus propias necesida-des internas de auto-conocimiento parasaber exactamente qué se está haciendo,con qué grado de perfección y a qué pre-cio, de modo que se pueda establecer unsistema racional de prioridades para au-mentar la efectividad cle la institución.Bajo esta perspectiva, los autoestudios de-ben adaptarse a la idiosincrasia de cadainstitución. Así por ejemplo, la utilizaciónde protocolos preestablecidos puede serútil en fases iniciales, pero posteriormente,pueden (y deben) adaptarse a las propiasnecesidades de cada institución 7.

Basándose en su larga experienciacomo promotor de autoestudios, Kells(1988) señala las siguientes característicasdeseables para el éxito de un autoestudio,y que, con nuestra experiencia española,también consideramos importantes:

• El proceso debe ser motivado inter-namente. Es imprescindible que elautoestuclio sea visto por los impli-cados como una necesidad cle lainstitución, no como una obligaciónque se impone desde fuera.

• Los dirigentes de las institucionesdeben estar comprometidos en el

(7) Alguna universidad española, en las que hay planes estratégicos incluso a niveles de unidades meno-

res, se están utilizando, para realizar, el autoestudio protocolos propios basados en el modelo EFQM (Europeanfoundation for Quality Management). Este es un paso positivo en el caso de instituciones con sistemas organi-

zativos más desarrollados.

40

proceso y manifestarlo a todos loscomponentes de la institución. Sino es así, la utilidad del estudio serámuy pequeña.

• El diseño del autoestudio debe serapropiado a las circunstancias decada institución.

• El proceso debe contener un verda-dero propósito de clarificar las metasde la organización, y de valorarlascon el fin de mejorar la situación dela institución.

• Deben intervenir en el proceso deautoestudio personas adecuadas,útiles y representativas de todos losestamentos de la institución.

• El proceso debe estar bien dirigidopor un grupo eficaz.

• Los resultados del proceso debenpresentarse en un informe que sealegible para audiencias de diversosniveles e intereses.

• El principal resultado del procesodebe ser la puesta en marcha de unsistema de investigación institucional,de auto-análisis y de auto-mejora.

¿POR QUÉ ESTE TIPO DE EVALUACIÓN?

La larga experiencia internacional y lamás corta española muestran que el enfo-que de evaluación institucional que hasido presentado en estas páginas funcionaadecuadamente, alcanzando razonable-mente los objetivos perseguidos. Por unlado, genera una movilización real por lacalidad, interiorizando estos procesos enlas instituciones y provocando mejorascomo consecuencia del auto-análisis sobrelos puntos débiles. Por otro lado, el escru-tinio de visitantes externos y, sobre todo,la publicidad de los informes finales pro-porciona una información a la sociedad,que puede considerarse aceptable.

Sin embargo, hay dos tipos de reticen-cias, no siempre explícitas, respecto a estos

procesos de evaluación. Por un lado, estánlos que creen que estos procesos atentancontra la autonomía de las institucionesuniversitarias, propugnado que los proce-sos externos se reduzcan a establecer audi-torias de calidad. En nuestra opinión haydos razones que pueden alegarse en con-tra de esta posición: a) al menos en unafase inicial hay que promover externamen-te estos procesos, ya que de otra manerainstituciones más débiles quedarían reza-gadas en los procesos de calidad; y b) enel caso de las universidades públicas, es in-soslayable la necesidad de rendir cuentas yde informar a la sociedad, algo que las meta-evaluaciones no cumplen por si solas.

Por otro lado, están aquellos que consi-deran este tipo de procesos de evaluación de-masiados «suaves ., que no son todo lorigurosos que cabría esperar. Hay dos res-puestas posibles a esta opinión: a) las ins-tituciones universitarias son organismospeculiares en las que los objetivos son múl-tiples y no jerarquizables, por los que lossistemas de control de calidad más cuanti-tativos que pueden instaurarse en otrasempresas son de difícil aplicación aquí; yb) el poder en las universidades es difuso,no sólo por sus peculiares formas de go-bierno (que podrían cambiar) sino por laimportancia y autonomía de los nrabajado-res,. en el proceso universitario. Esto haceque haya que contar necesariamente conlos distintos grupos que configuran la ins-titución, tanto para su análisis como para laimplementación de mejoras.

Porque las universidades son institu-ciones intrínsecamente complejas; por-que sus empleados son autónomos enla manera cómo organizan su trabajo;porque hay que introducir mecanismosconsensuales de mejora y porque hay querendir cuentas. La metodología de eva-luación que hemos presentado ha mos-trado una utilidad razonable, de tal modoque todos los expertos y políticos reco-miendan la implantación y el avance en talesmecanismos.

41

¿CUALES SON IAS CONSECUENCIAS DE LAEVALUACIÓN?

Una evaluación institucional, cuandoes correctamente realizada debe alcanzarlos objetivos directos que se han señalado:mejorar, rendir cuentas e informar. Sin em-bargo, otras consecuencias, algunas másdeseables que otras, son también posibles.Entre las consecuencias indirectas de laevaluación podemos citar las siguientes:

• Crear una cultura interna de cali-dad. Los fenómenos de evaluaciónimplican a muchos individuos quenecesariamente pasan a ser cons-cientes de la necesidad de valorar lacalidad. Este resultado es valiosopor si sólo y tiene, además, un efec-to difusor importante. El actual pro-ceso de evaluación español dasuficientes evidencias de esto.

• Crear cultura de responsabilidadante la sociedad en general y antelos usuarios de la institución, enparticular. Un efecto que es espe-cialmente importante en institucio-nes, como las españolas, con unasraíces todavía recientes en la admi-nistración del Estado.

• Crear sistemas de información esta-dística para la gestión interna de lasinstituciones y para la informacióna la sociedad acerca de cómo sonlos productos que la universidadesta generando.

• Crear sistemas de indicadores derendimiento que sirvan para reco-ger una información sintética, razo-nable y útil, del funcionamiento delas instituciones.

• Crear un estímulo a la competenciapositiva de las instituciones por lacalidad, que deberá trasformarsepaulatinamente en competencia porlos alumnos y por los contratos conlas empresas que dispondrán cre-

cientemente de criterios rigurososen que basar sus decisiones.

La evaluación puede tener otras dosconsecuencias importantes. En la opinióndel autor, la primera es deseable, la segun-da no. Son estas:

• Disponer de unos criterios validospara asignar recursos públicos a lasinstituciones en función de sus ni-veles de calidad y eficiencia. La intro-ducción paulatina y moderada definanciación por rendimiento es unobjetivo deseable de la evaluación.

• Establecer clasificaciones de institu-ciones. Aunque la comparación en-tre instituciones es deseable comofruto de la información sobre ellas,existe el peligro cierto de que se es-tablezcan clasificaciones simplifica-doras. Su elaboración por la prensa,por ejemplo, será inevitable, aun-que no necesariamente grave si no sele da mayor valor que el que tienen.

Posiblemente muchas otras conse-cuencias indirectas se derivarán de la eva-luación, la mayoría de ellas positivas.Aunque tampoco hay que pensar que laevaluación sea por si sola un bálsamo mara-villoso que cure todos los males de las insti-tuciones universitarias, podemos pensarrazonablemente que los efectos serán bené-ficos, sobre todo si se acompañan de otrasestrategias de búsqueda de la calidad: mejo-ras en los sistemas de financiación y, sobretodo, una decidida apertura de las univer-sidades a las demandas de la sociedad.

BIBLIOGRAFÍA

AMARAL, A.: «Mobility: 'fróm th'e Middle Alesto Maastricht». Ponencia presentada enel EU Seminar Higher Education andthe National State, Universiteit vanTwente, Enschede, abril, 1997.

42

CLARK, B. R.: The Higher Education S:ystem:Acadenzic Organization in Cross Na-tional Perspective Berkeley: Universityof California Press, 1983.

CONSEJO DE UNIVERSIDADES: «Informe sobrefinanciación de la Universidad», Uni-versidades, VI, pp. 2-46, 1995.

- Informe sobre los resultados de la pri-mera convocatoria del Plan Nacionalde Evaluación. Madrid, Consejo deUniversidades, 1998.

Dtu, D. D.: •Evaluating the Evaluative Sta-te: Implications for Research in HigherEducation». Ponencia presentada en el101' CHER Conference, Alicante, sep-tiembre, 1997.

— «Higher education markets and publicpolicy» Higher Education Policy, 10,3/4, pp. 167-185, 1997.

EC: Memorandum on Higher Education inthe European Community, Bruselas:European Communities Commission,1991.

FRAZER, M.: «Report on the Modalities of Ex-ternal Evaluation of Higher Education inEurope: 1995-1997., Higher Educationin Europe, XXII, 3, pp. 349-401, 1997.

HOLM, S: «Funding of Universities in Fin-lancl. Towards a goal oriented govern-ment steering», European jourzzal ofEducation, 33, 1, 1998.

HÜFNER, K.; RAU, E:. «Measuring perfor-mance in higher education: problemsand perspectives». Higher Education inEurope, 12, 4, pp. 5-13, 1987.

INT Van, R.: «The dynamics of evaluátion:threats and opportunities». En el Reportof the IMHE Study Group on Evalua-tion in Higher Education, presentado ala 10' General Conference of MemberInstitutions del Programme on Institu-tional Management in Higher Educa-tion. Paris, OCDE, septiembre, 1990.

KAISER, F. Y OTROS: Public expenditure onhigher education. London, JessicaKingsley, 1992.

KELLS, H. R: Self-Study Processes. A Guidefor Postsecondazy and Similar Service-

Oriented Institzttions and Programs. 3."Edición. New York, American Councilof Education, 1988.

LAY7FII, D • •Linking Performance tp Fun-ding Outcomes For Public Institutionsof Higher Education: The U.S. Expe-rience». European »urna! of Educa-tion, 33, 1, 1998.

LEVIN, H. M.; RUMBERGER, R. W.: «Educación,trabajo y empleo en los países desarrolla-dos: situación y desafíos para el futuro».Perspectivas, 19, 2, pp. 221-242, 1989.

MONSERRAT, J.: MORA, J. G.; SAN SEGUNDO,

M. J.: »Financiación y Gestión de lasUniversidades». Ponencia presentadaen las jornadas Objetivos de la Universi-dad ante el Nuevo Siglo, CRUE y UNES-CO, Salamanca, noviembre, 1997.

MORA, J. G.: «Financiación y diversificaciónde la educación superior». Ponenciapresentada en las jornadas: Retos pre-sentes yftituros de la Universidad, IVIEy Consejo de Universidades, Valencia,septiembre, 1997.

- «Quality assessment in Spain: an on-going process», Higher Education Ma-nagement, 9, 1, pp. 59-70, 1997.

MORA, J. G.; VIDAL, J.: «Introducing Syste-matic Quality Assurance in Spain». EnJ. Gaither (Ed.), Quality Assurance inHigher Education, New Directions onInstitutional Research, San Francisco,Jossey-Bass, 1998.

NEAVE, G.: «On the Cultivation of Quality,Efficiency and Enterprise: an overviewof recent trends in higher education inWestern Europe, 1986-1988». Euro-pean journal of Educatioq, 23, 1/2,„pp. 7-23, 1988.

- »The Evaluative State: The Moment ofTruth from an Imagined Spanish Pers-pective». Ponencia presentada en lasJornadas: Retos presentes .yfuturos dela Universidad, IVIE y Consejo deUniversidades, Valencia, septiembre,1997.

NEAVE, G.; VAN Vuctrr, F. A.: PrometheusBound, Oxford, Pergamon, 1991.

43

Government and Higher Education Re-lationships Across Three Continents:7he Winds of Change, Oxford, Perga-mon, 1994.

OCDE: Financing Higher Education: Cu-rrent Patterns, Paris, OECD. 1990.

Poum, Christopher (1987): The Politics ofPerformance Assessment: lessons forhigher education? Studies in HigherEducation, 12, 1, pp. 87-98.

STAROPOLI, A.: •L'evaluation por améliorerla qualité: l'éxemple franÇais«. Ponenciapresentada en el Seminario Universitat:Estatégies per avanpar, Barcelona,UPC, enero, 1998.

UNESCO: Policy Paper for Change and De-velopment in Higher Education, Paris,UNESCO, 1995.

UPC: Contracte Programa 1997-2000. Bar-celona, UPC, 1997.

VAN VUGHT, F. A.: «The New Context of Aca-demic Quality». En D. Dill y B. Sporn(Ecls.), Emerging Patterns of Social De-mand and University Reform: 7hrough aClass Darkly. Oxford, Pergamon, 1995.

WESTERHEIJDEN, D.: «Information and Stra-tegies for Quality». Ponencia presentadaen el Seminario Universitat: Estatégies peravanpar, Barcelona, UPC, enero, 1998.

WILLIAMS, G.: «The “marketization" of highereducation: reforms and potential re-forms in higher education finance». EnD. Dill y B. Sporn (Eds.), EmergingPatterns ofSocial Demand and Univer-sity Reform: Through a Class Darkly.Oxford, Pergamon, 1995.

WORLD BANK: Higher education: The Les-sons of experience. Development inpractice. Washington, D. C., WorldBank, 1994.

44