Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

download Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

of 30

Transcript of Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    1/30

    RESUMEN

    En este trabajo presentamos un breve anlisis de los sistemas deevaluacin externa de la calidad en la educacin superior en tres

    pases de la Unin Europea: Reino Unido, Suecia y Espaa. En pri-mer lugar exponemos los rasgos principales de los distintos sistemasuniversitarios. A continuacin realizamos un anlisis histrico delos mecanismos de evaluacin externa utilizados en cada uno de lospases, incluyendo valoraciones que las propias agencias de evalua-cin y las instituciones educativas han hecho de los resultados obte-nidos, a la vez que se describe la situacin actual de los programasvigentes. Por ltimo se realiza un anlisis comparativo de las princi-pales caractersticas de los modelos utilizados en los tres pases.

    ABSTRACT

    In this paper we show a brief analysis of the external assessmentsystems of the higher education in three countries of the European

    La evaluacin externa de la calidaden la educacin superior: Reino Unido,Suecia y Espaa (*)

    Miren Barrenetxea Ayesta, Antonio Cardona Rodrguezy Carmen Echebarra MiguelUniversidad del Pas Vasco

    89

    (*) Este trabajo se enmarca dentro de una lnea de investigacin que se est lle-vando a cabo sobrePolticas pblicas en el mbito de la calidad en la educacin superior,que cuenta con financiacin de la Universidad del Pas Vasco/Euskal Herriko Uni-bertsitatea (Subvencin General a Grupos de Investigacin): 9/UPV 00032.321-15908/2004.

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    2/30

    Union: United Kingdom, Sweden and Spain. In the first place, weexplain the main characteristics of the different university systems.Next we made an historical analysis of external evaluation mecha-

    nisms used in each one of the countries, including the valuations thatthe own agencies of evaluation and the educational institutions havedone of the obtained results; simultaneously the present situation ofthe effective programs is described. Finally, a comparative analysisof the main characteristics of the models in the three countries is made.

    1. INTRODUCCIN

    Europa se caracteriza por poseer sistemas de educacin superior,eminentemente pblicos, en los que las instituciones y programas po-seen la capacidad de conceder ttulos directa o indirectamente del Es-tado. Adems, en la mayora de los pases europeos existe una tradi-cin de autonoma universitaria y grandes dosis de identidad local.En este contexto, la cuestin de la calidad ha sido un asunto destaca-do en la agenda de las universidades europeas desde su fundacin ysiempre ha estado presente en las mismas y en sus relaciones con losgobiernos. As, histricamente, la relacin entre el Estado y la uni-versidad descansaba en un alto grado de confianza en la capacidad

    de la academia para definir la excelencia y en la conviccin de quela excelencia as definida era apropiada (Neave, 2001, p. 165). En laactualidad esta relacin ha cambiado, ponindose de manifiesto queno es suficiente con poseer calidad, sino que hay que demostrarla,a lo cual Neave (2001) contrapone un punto jocoso al sealar que nobasta demostrar que la calidad existe para tenerla (p. 183).

    En el antiguo compromiso entre universidad y Estado en la Eu-ropa continental, Clark (1983) seala que los ncleos de poder des-cansaban en el polo bsico (universidad) y en el polo central (go-

    bierno), mientras que en el actual sistema se tiende a potenciar unnivel intermedio entre el ministerio y la institucin individual (Nea-ve, 2001). Es en este nivel intermedio donde se ubican las agenciasnacionales o regionales de evaluacin y/o acreditacin. Estos organis-mos intermedios pueden evolucionar hasta convertirse en una buro-cracia paralela y puede tratarse de cuerpos que corresponden a laesfera del gobierno o intermediarios que se encuentran bajo la di-reccin de las universidades.

    En el enfoque actual se plantea que toda institucin universitaria

    tiene un contrato social con la sociedad que se desarrolla a travs detres vas (Trow, 1996):

    Revista Espaola de Control Externo90

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    3/30

    La rendicin de cuentas. Entendida como la obligacin de infor-mar a los otros y justificar cmo son usados los recursos y con quefecto; sta puede tomar diversas formas en los distintos pases, pero

    las cuestiones que se han de especificar son: quin ha de rendir cuen-tas, para qu, a travs de qu medios y con qu consecuencias. Lasfunciones que se le atribuyen a la rendicin de cuentas son las de evi-tar la corrupcin, el fraude, la arbitrariedad, la manipulacin y lamalversacin de fondos. Entre las bondades que se le atribuyen se ci-ta, fundamentalmente por parte de los gobiernos, la elevacin de lacalidad de las instituciones, al estar stas obligadas a someterse a re-visiones externas. Entre los aspectos negativos se seala que: debilitala autonoma universitaria y la confianza, dificulta la innovacin yobliga a las instituciones de educacin superior a adaptar las prcti-cas futuras a las exigencias de las evaluaciones, pudiendo llegar a si-tuaciones extremas en las que la institucin se limite a poner en prc-tica polticas especficas diseadas por una agencia de regulacinexterna, o bien a llevar a cabo evaluaciones escaparate (Harvey, 2002).Por ltimo, cuando la rendicin de cuentas se aplica con estndaresy criterios comunes a todas las instituciones, puede tener un efectonocivo sobre la diversidad de las mismas (Sursock, 2003).

    El mercado. sta no es una va que en el caso europeo tenga unpeso significativo por el momento, ya que se podra decir que no

    existe un mercado para la educacin superior. Actualmente se esttratando de potenciar el mercado tanto en docencia como en inves-tigacin con la creacin del Espacio Europeo de Educacin Su-perior, aunque en los aspectos de docencia se piensa que slo ten-dra un efecto claro en los segundos y terceros ciclos (Westerheijden,2003).

    La confianza. Es el tercer elemento del contrato social y se tra-duce en el apoyo que se da a la financiacin de las institucionesde educacin superior sin requerir a cambio una rendicin detalla-

    da de cuentas ni una oferta especfica de bienes y servicios. Esta con-fianza es la base de la autonoma universitaria.

    A comienzos de la dcada de los ochenta, debido entre otras razo-nes a la crisis econmica en general y en particular a la crisis de Es-tado fiscal, tiene lugar el nacimiento delEstado evaluador. Con la cri-sis del gasto pblico, el concepto de eficiencia va ganando terreno yen el campo concreto de la educacin superior se incluyen en el de-bate cuestiones como el nmero de alumnos que abandonan lacarrera o no consiguen finalizarla en los tiempos establecidos, o la ca-

    pacitacin inadecuada para el mercado laboral. La rendicin decuentas va tomando protagonismo a costa de sacrificar la confianza.

    La evaluacin externa de la calidad en la educacin superior... 91

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    4/30

    En este trabajo se recoge la experiencia de tres pases europeosen el tema de la evaluacin de la calidad de la educacin superior.Los pases seleccionados son: Reino Unido, Suecia y Espaa. Pases

    con evolucin histrica distinta tanto en la organizacin de la educa-cin superior como en el tamao de la misma, as como en la expe-riencia evaluadora. Por qu hemos elegido esos pases y no otros?

    La eleccin del Reino Unido se debe, en primer lugar, a que his-tricamente el sistema universitario britnico ha estado sujeto a unmenor control estatal, y como si de un pndulo se tratara, actual-mente est pasando al otro extremo, caracterizado por el fuerte con-trol por parte del gobierno (Neave, 2001; Cannon, 2001; Scott, 2001;Green, 1994; Harvey, 1994; Harvey, 2002). En este sentido, algunos

    autores sealan que, al igual que en la conduccin, avanzan en sen-tido contrario al continente y se habla de la existencia de un modelobritnico frente a otro continental; aunque tambin hay diferenciasinternas pudindose incluso hablar de un modelo escocs diferencia-do del resto. En segundo lugar, el Reino Unido posee las universi-dades de mayor prestigio. En tercer lugar, el tener el ingls comoidioma facilita mucho la posicin competitiva de sus universidades yes uno de los pases europeos que mayor nmero de alumnos ex-tranjeros recibe en sus universidades.

    La eleccin de Suecia se debe en primer lugar a que en la dca-da de los noventa desarrolla un sistema de evaluacin de las institu-ciones de educacin superior, que ha durado hasta el 2001, centra-do en el proceso, y con gran nfasis en la mejora continua; el modelosueco de esa poca tiene gran similitud con el ciclo de Deming. Ensegundo lugar, el modelo sueco de esos aos, como seala Harvey(1994), establece un sistema de mejora de abajo hacia arriba y per-mite centrarse ms en la mejora que en la rendicin de cuentas; esun sistema que fomenta la autonoma de los centros. En tercer lugar,

    uno de los objetivos que pretende el modelo sueco es que las insti-tuciones de educacin superior desarrollen sistemas de autorregu-lacin o de aseguramiento de la calidad. En cuarto lugar, en el ao2001 se introdujo un nuevo sistema para la evaluacin de la calidadbasado en evaluaciones de materias y programas, suponiendo uncambio cualitativo considerable en la direccin tomada. En quin-to lugar, las valoraciones que laNational Agency for Higher Educationrealiza sobre los aos que ha funcionado el sistema de evaluacin delas instituciones son unas valoraciones bastante crticas y basadas enel efecto que las evaluaciones han tenido sobre las propias insti-

    tuciones. Con respecto al nuevo sistema, la valoracin de los prime-ros aos de funcionamiento tambin es bastante crtica, lo cual nos

    Revista Espaola de Control Externo92

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    5/30

    muestra un inters por conocer los efectos obtenidos con las evalua-ciones.

    Por ltimo, sealar que los dos pases se sitan en lo que algunosautores denominan segunda etapa o sistemas maduros (Neave, 2001;Harvey, 2002) en la evaluacin de la educacin superior, y que porello estn en condiciones de examinar las consecuencias de la fase an-terior, y plantearse cules son los resultados reales de los sistemas deevaluacin sobre el funcionamiento de las instituciones y programasde educacin superior.

    Espaa, por ltimo, es un pasjoven en el camino de la evaluacinde la educacin superior, donde no existe una tradicin, ni una cul-

    tura de evaluacin o rendicin de cuentas en el sistema universitario.El sistema universitario espaol a lo largo del siglo XX con las refor-mas legales que comenzaron en la dcada de los setenta ha ido pa-sando de un sistema centralizado hacia un sistema de mayor autono-ma universitaria, pero esa mayor autonoma ha ido acompaada deuna peticin por parte de los poderes estatales de una mayor res-ponsabilidad de las instituciones universitarias para rendir cuentas ala sociedad. En definitiva, Espaa comienza ms tarde y, por tanto,adopta procesos aplicados ya en otros pases.

    2. CARACTERSTICAS DE LOS SISTEMAS DE EDUCACIN SUPERIOR

    2.1. Reino Unido

    Las instituciones de educacin superior britnicas se dividen enuniversidades y otras instituciones no universitarias. Aparte de estadivisin tambin se imparten muchos cursos de educacin superioren lasFurther Education Colleges (FEC); la racionalidad del uso de es-tas ltimas para impartir cursos de educacin superior se basa en el

    deseo de aumentar las oportunidades geogrficas y la participacin(Warner, 2001). En todo caso, el nmero de alumnos que cursaronestudios de educacin superior en el Reino Unido en el curso2002/2003 fue de 1.326.200 alumnos a tiempo completo y 961.700 atiempo parcial, incluyendo los estudiantes de la Open University(universidad no presencial).

    Las universidades, por su parte, se dividen en dos categoras:aquellas que posean el ttulo de universidad antes de 1992 y las queconsiguieron la catalogacin en ese ao o en aos posteriores, las de-

    nominadasuniversidades modernas. En 1992, con la adopcin delFurt-her and Higher Education Act, se lleva a cabo la abolicin del sistema bi-

    La evaluacin externa de la calidad en la educacin superior... 93

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    6/30

    nario de universidades, por un lado, y politcnicas junto a institu-ciones centrales (Escocia) yHigher Education Colleges, por el otro. Apartir de esa fecha el sistema de educacin superior tiene una es-

    tructura unificada. Los tipos de institucin que se engloban en elmismo son las universidades, las University Colleges y lasHigher Edu-cation Colleges. Adems existen ms de 400Further Education Collegesofreciendo cursos de educacin superior. Los cursos ofertados en lasFurther Education Colleges estn orientados a la consecucin de diplo-mas y/o certificados nacionales, pero algunos de los cursos tambin seofertan mediante acuerdos de colaboracin con universidades paravalidar o franquiciar el ttulo (Caldwell, 2001). Las caractersticas decada una de ellas son las siguientes:

    Universidades. Todas las universidades tienen capacidad paraotorgar sus propios ttulos y ellas mismas determinan qu ttulos ycualificaciones ofrecern, as como las condiciones que se aplicarn.Sin embargo, continan existiendo diferencias significativas entre lasdistintas universidades, en tamao, misin y materias impartidas,as como entre las que eran universidades antes de 1992 y las quehan pasado a ser universidades en esa fecha. Las primeras se orien-tan fundamentalmente a cursos acadmicos ms que a formacinprofesional, aunque ofertan tambin titulaciones acreditadas en cam-pos eminentemente prcticos, como ingenieras y contabilidad. Lassegundas ponen un mayor nfasis en la aplicacin prctica del co-nocimiento, ya que en stas se incluyen las antiguas politcnicas.

    Otras instituciones de educacin superior.Aqu se incluyen las Uni-versity Colleges y lasHigher Education Colleges. Las University Colleges soninstituciones independientes; estas instituciones ofrecen cursos degrado, pregrado y cualificaciones de posgrado. Los ttulos ofertadospor la mayora de lasHigher Education Colleges son validados por or-ganismos externos como una universidad o el cuerpo de acredita-cin nacional. Todas las University Colleges y un pequeo nmero deHigher Education Colleges tienen poder para otorgar sus propios ttu-los, pero este poder se restringe a los primeros grados y los mstersprofesionales (no de investigacin).

    Further Education Colleges. Estas instituciones trabajan en asocia-cin con las universidades, quienes en ltima instancia otorgan el t-tulo. La mayora de los cursos que ofrecen son de dos aos de dura-cin y con programas muy prcticos.

    En el cuadro n 1 se recoge la informacin sobre la distribucin de

    los centros que imparten educacin superior en los distintos territo-rios del Reino Unido en el curso 2002/2003 (Eurydice, 2004):

    Revista Espaola de Control Externo94

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    7/30

    Resulta curioso que en Inglaterra el nmero de universidadescasi duplica al resto de instituciones de educacin superior, pero elnmero de alumnos en las universidades es nueve veces mayor queen el resto de instituciones debido al tamao considerablemente ma-yor de las mismas (Scott, 2001). En cualquier caso, el Reino Unidosigue siendo en muchos sentidos una excepcin a nivel europeo; ex-cepcin que algunos atribuyen al empecinamiento ingls en avanzaren la direccin diametralmente opuesta a la elegida por sus socios

    europeos (Neave, 2001). Las caractersticas bsicas de las universi-dades britnicas se pueden resumir en los siguientes puntos (Neave,2001):

    Desde un punto legal las universidades britnicas son corpora-ciones independientes.

    Gozan de un alto grado de autonoma institucional.

    La autonoma institucional se da en la realidad por el derechoque tiene la universidad a otorgar sus propios ttulos y su derecho a

    nombrar y destituir al personal. Cada universidad es responsable del contenido de sus progra-

    mas, de establecer la duracin y estructura de los estudios necesariospara obtener un primer diploma y de fijar condiciones de ingreso.

    No existe en el Reino Unido una nocin como la de carreras odiplomas nacionales.

    La certificacin de idoneidad y de aprobacin del contenido delos programas recae en parte en las entidades profesionales.

    Sobre las titulaciones ofertadas existe una gran diversidad de t-tulos debido a las caractersticas y tradicin histrica de autonoma

    La evaluacin externa de la calidad en la educacin superior... 95

    CUADRO 1. INSTITUCIONES DE EDUCACIN SUPERIOREN EL REINO UNIDO

    Instituciones de educacin superiorUniversidades Otras instituciones

    Inglaterra 72 46

    Escocia 14 7

    Gales 2 5

    Irlanda del Norte 2 2

    TOTAL 76 53

    Fuente: Elaboracin propia.

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    8/30

    universitaria en este terreno, pero con la finalidad de facilitar la com-prensin del sistema britnico y permitir la comparabilidad interna-cional, en el ao 2001 la Quality Assurance Agency (QAA) estableci un

    marco para las titulaciones otorgadas en Inglaterra, Gales e Irlandadel Norte y otro para Escocia. Este sistema comenz a funcionar du-rante el curso acadmico 2003/2004.

    El marco de referencia para Inglaterra, Gales e Irlanda del Norteestablece cinco niveles:

    El nivel de certificado (certificate level). Habitualmente es de unao de estudio a tiempo completo.

    El nivel intermedio. Aqu se incluyen los ordinary degrees (non-ho-nours), losfoundation degrees y otros diplomas superiores. Los ordinarydegrees habitualmente incluyen los ttulos de bachelor conseguidoscon honores, y normalmente se obtienen en tres aos a tiempo com-pleto; si no se consiguen con honores ordinary degrees (non-honours),pasan a constituir un ttulo de nivel intermedio y normalmente se ob-tiene en dos aos a tiempo completo. Losfoundation degrees se intro-ducen en el 2000 para ofrecer a los graduados insertados en el mer-cado laboral cursos de corta duracin enfocados al desarrollo dedestrezas especficas; estosfoundation degrees integran el aprendizaje

    acadmico y el basado en el trabajo mediante una estrecha colabora-cin entre empleadores y oferentes del programa y pretenden esti-mular la formacin a lo largo de la vida y ampliar la participacin enla educacin superior; se pretende que se obtengan en dos aos atiempo completo. Este nivel intermedio no significa la obtencin deuna cualificacin de primer ciclo en educacin superior en trminosde la declaracin de Bolonia.

    Honours level. Es la titulacin de educacin superior ms exten-dida. Se obtiene en tres aos de dedicacin a tiempo completo obte-

    niendose un ttulo de bachelor. Nivel de mster (masters level). A la mayora de los msters se

    accede tras obtener unhonour degree o titulacin equivalente, y duranpor lo menos un ao a tiempo completo. Los msters orientados a lainvestigacin tienen una mayor duracin.

    Nivel de doctorado (doctoral level). Requiere el equivalente a tresaos a tiempo completo y la defensa de un trabajo de investigacinoriginal (tesis doctoral).

    En Escocia, por su parte, el nivel intermedio se consigue en tresaos y elhonours level en cuatro aos.

    Revista Espaola de Control Externo96

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    9/30

    2.2. Suecia

    El nmero de estudiantes matriculados en la educacin superior

    sueca fue de 330.000 en el ao 2003. Aproximadamente, el 30 porciento de la poblacin entre 25 y 65 aos ha completado algn tipode estudios de educacin superior, y alrededor del 16 por ciento dela poblacin ha completado estudios de educacin superior de tres oms aos.

    En 1977 se llev a cabo una reforma en el sistema sueco de edu-cacin superior. Con esa reforma, prcticamente, toda la educacinterciaria pas a agruparse dentro de la enseanza superior. En estesentido se considera que Suecia fue el primer pas en crear un siste-

    ma unificado de educacin superior en Europa (Neave, 2001). Ade-ms, los volmenes y la localizacin de la educacin superior y la es-tructura organizativa de las instituciones estar regulada de formabastante detallada por el gobierno central desde 1977 hasta 1993. Laprincipal caracterstica de la reforma fue la de concebir la educacinsuperior como un paso preparatorio para la vida laboral y, por lo tan-to, considerar que la formacin se deba ajustar a las necesidades dela vida laboral. Para conseguir este objetivo los programas educativosse organizan en un sistema integrado. Esta reforma organiza los pro-gramas de estudio en cinco sectores: tcnico; administrativo, econ-

    mico y de trabajo social; salud; formacin del profesorado; informa-cin, comunicacin y artes.

    Las instituciones de educacin superior se dividen en universida-des y university colleges. El nivel de la educacin de pregrado quese ofrece en ambas es equivalente. Las diferencias fundamentalesson que:

    Las universidades ofrecen un abanico de cursos ms amplio, yque tambin ofertan programas de posgrado en una o ms reascientficas.

    Algunosuniversity colleges han sido asignados a un rea cientfi-ca y poseen el derecho de ofrecer programas de posgrado en esa rea(Eurydice, 2004).

    La mayor parte de los estudios de pregrado (sobre el 90 por cien-to), estudios de posgrado e investigacin se llevan a cabo en las13 universidades estatales y 23university colleges estatales. Aparte delas instituciones pblicas existen algunas instituciones privadas ytodas ellas reciben financiacin pblica; una veintena de centros pri-

    vados tienen el permiso para ofertar formacin de pregrado y trestienen el derecho de ofertar programas de pregrado y posgrado.

    La evaluacin externa de la calidad en la educacin superior... 97

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    10/30

    En la dcada de los noventa el sistema de educacin superior deSuecia se descentraliza, destacando dos reformas significativas:

    Primera: en el ao 1993 se pone en marcha un nueva ley,HigherEducation Act, y un nuevo decreto,Higher Education Ordinance, para laeducacin superior, que reduce la influencia del gobierno central einstaura una descentralizacin en la toma de decisiones. Una carac-terstica fundamental de esta reforma es la transferencia de respon-sabilidad y poder de las agencias gubernamentales a las propiasadministraciones de las instituciones de educacin superior. Comoresultado de la reforma, a cada institucin se le traspasa la responsa-bilidad de idear mtodos de aseguramiento de la calidad de sus acti-vidades. La reforma supone que el gobierno central, una vez que ha

    trazado ciertos objetivos y directrices, principalmente financieros,transfiere las decisiones acerca de la orientacin de los programas enlos estudios de pregrado a las propias instituciones de educacin su-perior en la forma de asignacin educativa de tres aos. Uno de losobjetivos de la reforma es dar a los estudiantes mayores oportunida-des para elegir los cursos por s mismos y combinarlos en una licen-ciatura. Un decreto establece los ttulos que se pueden completar.

    Junto a ello, en el curso 1993/1994 tambin se introduce un nuevosistema de asignacin de recursos. As, a las instituciones de educa-

    cin superior se les asignan recursos basndose en el nmero de es-tudiantes registrados y en los resultados de los estudiantes, cambian-do el sistema anterior que se basaba en el volumen de educacinplaneada. Las reformas de 1993 se llevan a cabo para crear un siste-ma de educacin superior abierto, con libertad de entrada para com-petidores privados que tras cumplir unos requisitos de calidad tam-bin tienen acceso a los fondos pblicos. En otras palabras, la reformade 1993 otorga a las instituciones de educacin superior una mayorautonoma en la organizacin de los estudios, admisiones y uso de losrecursos, e introduce una mayor diversidad, mediante un nuevo sis-

    tema de financiacin con el objetivo de mejorar la calidad de las ins-tituciones de educacin superior, calidad que se ver contrastada conel trabajo que lleva a cabo el departamento de Evaluacin y Audito-ra de la Calidad en la Agencia Nacional para la Educacin Superior.

    Segunda: en 1997 el gobierno sueco determina que ciertos uni-versity colleges pblicos que cumplen una serie de requisitos puedenser denominados universidades. Los requisitos que se piden son lossiguientes: la existencia de programas de pregrado y de investigacinbien establecidos y de calidad; un volumen adecuado de enseanza y

    programas de pregrado en un nmero de reas; un volumen ade-cuado de actividades de investigacin en una gama variada de reas;

    Revista Espaola de Control Externo98

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    11/30

    instalaciones fsicas y la posesin de equipamientos que permitanofrecer programas de pregrado y llevar a cabo investigacin; buenoscontactos internacionales en programas de pregrado e investigacin;

    cumplimiento de los requisitos para el establecimiento independien-te del profesorado y capacidad de conceder ttulos de posgrado.Tambin en ese ao se establecen normas bsicas que los solicitanteshan de cumplir a nivel nacional sobre la admisin de alumnos enprogramas de pregrado en las universidades y los university colleges.Aparte de estas normas bsicas, las universidades y losuniversity co-lleges pueden establecer normas especficas adicionales.

    En Suecia no hay distincin entre educacin superior universita-ria y no universitaria, pero hay programas de estudio largos, orien-

    tados ms a formarse para la investigacin, y programas cortos, dise-ados para formar profesionales preparados para llevar a cabo tareasen el mundo laboral. Los tipos de ttulos que se ofrecen en el sistemade educacin superior son (Eurydice, 2004):

    Diploma Universitario: se otorga tras completar al menos 80 cr-ditos (cada crdito es el equivalente a una semana de estudio atiempo completo y el ao acadmico corresponde habitualmentea 40 crditos) que son dos aos de estudio a tiempo completo. Losdiplomas son ofrecidos por todas las universidades y colleges. Cada

    institucin determina los contenidos del programa. Grado deBachelor: se otorga tras completar al menos 120 cr-

    ditos de los que 60 deben ser cursados en un tema de especialidad y10 en una tesina; corresponde a programas de tres aos de estudio atiempo completo como mnimo. Este grado se ofrece por todas lasuniversidades excepto por los colleges de artes.

    Grado de Mster: se otorga tras completar al menos 160 crdi-tos, incluyendo 80 crditos en un tema de especialidad y 20 en unatesina (o dos tesinas de 10 crditos cada una); son programas de es-

    tudio de cuatro aos a tiempo completo. Este grado es ofrecido porlas universidades y algunos colleges. En Suecia ste es un ttulo de pre-grado. Tambin existen los grados de mster profesional, para ello serequiere el ttulo de bachelor y un mnimo de 40 crditos adicionalesen un rea particular decidida por la institucin. Se requiere una te-sina de al menos 10 crditos. El mster profesional se introduce en elao 2002 para los estudiantes que deseen ampliar estudios en unnuevo campo en lugar de continuar especializndose en una nicarea.

    Grados Profesionales: se otorgan tras la finalizacin de progra-mas. Se requiere de 60 a 220 crditos y llevan a trabajar en profesio-

    La evaluacin externa de la calidad en la educacin superior... 99

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    12/30

    nes especficas (medicina, odontologa, varios programas de ingenie-ra, etc.).

    Grado de Doctor: requiere el equivalente a cuatro aos a tiem-po completo con la defensa de una tesis doctoral.

    Desde el 1 de enero de 2003 automticamente se concede el su-plemento al diploma junto a cualquier ttulo de educacin superior.El suplemento al diploma ofrece una descripcin de la naturaleza, ni-vel, contenido y estatus de los estudios, y su objetivo es mejorar latransparencia internacional y facilitar el reconocimiento acadmicoy profesional de las titulaciones. Es uno de los instrumentos bsicospara el desarrollo del Espacio Europeo de Educacin Superior.

    2.3. Espaa

    La educacin superior se centra fundamentalmente en el mbitouniversitario. La educacin terciaria no universitaria es poco signifi-cativa. Los centros encargados de impartir la enseanza universitariason las universidades, que pueden ser pblicas o privadas. En la ac-tualidad existen 50 universidades pblicas, siendo una de ellas nopresencial (la UNED), y 20 privadas homologadas, siendo tambinuna no presencial (la Universitat Oberta de Catalunya). Las universi-

    dades pblicas son las que poseen el mayor peso, con ms del 90 porciento del total del alumnado. En el curso acadmico 2002/2003 elnmero de alumnos matriculados en educacin universitaria ascen-di a 1.506.248.

    Las universidades pblicas estn integradas por facultades, escue-las tcnicas superiores, escuelas universitarias, departamentos, insti-tutos universitarios de investigacin y por aquellos otros centros oestructuras que organicen enseanzas en la modalidad de no pre-sencial.

    Es en 1957 cuando la Ley sobre Enseanzas Tcnicas normalizael sistema universitario, tal como hoy lo conocemos, al incorporar ala universidad las escuelas de ingenieros y arquitectos. En 1970, con laLey General de Educacin y Financiamiento de la Reforma Educa-tiva (LGE), se regula y estructura por primera vez todo el sistemaeducativo espaol, incluida la educacin superior. Con esta ley se es-tructuran las enseanzas universitarias en tres ciclos y se crean lasescuelas universitarias y colegios universitarios, as como los insti-tutos de ciencias de la educacin.

    En 1983 se aprueba la Ley de Reforma Universitaria (LRU). Estaley se fundamenta en tres principios bsicos: el derecho de todos los

    Revista Espaola de Control Externo100

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    13/30

    espaoles a la educacin, la libertad de ctedra y la autonoma uni-versitaria. En 1990 La Ley Orgnica de Ordenacin General del Sis-tema Educativo (LOGSE) establece como enseanza superior no uni-

    versitaria reglada de rgimen general la Formacin ProfesionalEspecfica de grado superior, y se regulan las Enseanzas Artsticasde grado superior como Enseanzas de Rgimen Especial, cuyas titu-laciones son equivalentes a las universitarias.

    En diciembre de 2001 se aprueba la Ley Orgnica de Universida-des (LOU) que deroga la anterior LRU. La LOU impulsa la accinde la administracin del Estado en la vertebracin y cohesin del sis-tema universitario; aumenta las competencias de las ComunidadesAutnomas en materia de enseanza superior; incrementa el grado

    de autonoma de las universidades; establece los cauces para orga-nizar las relaciones entre la universidad y la sociedad a travs delfortalecimiento de la prctica de la evaluacin mediante la creacinde la Agencia Nacional de Evaluacin de la Calidad y Acreditacin(ANECA). Como seala Vidal (2003), la LOU introduce cambios,pero las tensiones entre las instituciones de educacin superior y elEstado continan ah, aunque con distintos actores. La LOU preten-de asimismo: fomentar la movilidad de estudiantes y profesores; res-ponder a los retos derivados de las tecnologas de la informacin y lacomunicacin y de la formacin a lo largo de la vida, e integrar com-petitivamente a la universidad espaola en el nuevo espacio europeoque comienza a crearse.

    Para facilitar la movilidad, en septiembre de 2003, se aprueba unReal Decreto que establece el sistema europeo de transferencia decrditos (ECTS) en el que se definen las equivalencias. El ECTS es unsistema centrado en el alumno, basado en la cantidad de trabajo querequiere el estudiante para alcanzar los objetivos de un programa. Esuna herramienta que se considera imprescindible para la construc-cin del Espacio Europeo de Educacin Superior.

    La educacin universitaria se organiza en ciclos con objetivos for-mativos especficos y valor acadmico autnomo. Existen cuatro tiposde enseanzas:

    Enseanzas de primer ciclo (ciclo corto). Tienen orientacinprofesional y su superacin supone la obtencin del ttulo de diplo-mado, arquitecto o ingeniero tcnico. Son de tres aos de duracin.

    Enseanzas de primer y segundo ciclo (ciclo largo). Estos estu-

    dios se ordenan por ciclos, pero la superacin del primero no da de-recho a la obtencin de ningn ttulo, ni otorga una cualificacin pro-

    La evaluacin externa de la calidad en la educacin superior... 101

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    14/30

    fesional especfica; al superar los dos ciclos se obtiene el ttulo de licen-ciado, arquitecto o ingeniero. La duracin es de cuatro o cinco aos.

    Enseanzas slo de segundo ciclo. Son estudios de dos aos deduracin conducentes al ttulo oficial de licenciado, arquitecto o in-geniero a los que se accede tras la superacin de determinados estu-dios de primer ciclo o del primer ciclo de titulaciones de dos ciclos.

    Enseanzas de tercer ciclo. Son estudios a los que pueden acce-der los licenciados, ingenieros o arquitectos y constan de dos cursosacadmicos. Para obtener el ttulo de doctor se debe presentar yaprobar una tesis doctoral sobre un tema de investigacin indito.

    Las enseanzas universitarias a su vez se agrupan en cinco ramas:

    Humanidades, Ciencias Experimentales; Ciencias de la Salud; Cien-cias Sociales y Jurdicas, y Enseanzas Tcnicas.

    Las universidades tienen autonoma en materia docente y forma-tiva, lo cual permite que organicen y establezcan sus ofertas de ense-anza y que elaboren y propongan los planes de estudios conducen-tes a la obtencin de los diferentes ttulos universitarios que deseenimpartir, pero han de ser aprobadas por el Consejo de CoordinacinUniversitaria. As, para posibilitar la homologacin de ttulos a nivelnacional, los planes de estudio estn sujetos a las directrices genera-

    les propuestas por el Consejo de Coordinacin Universitaria y apro-badas por el Estado, que incluyen aspectos relativos a organizacin,materias y carga lectiva.

    En el proceso de adaptacin al Espacio Europeo de Educacin Su-perior, en el que se pretende que el sistema de titulaciones se baseen dos niveles claramente diferenciados, el 21 de enero de 2005 seaprueban dos Reales Decretos (RD 55/2005 y RD 56/2005) por losque se establecen la estructura de las enseanzas universitarias y seregulan los estudios oficiales de grado y de posgrado, respectivamen-

    te. Se establecen los niveles de grado y posgrado, y en su conjunto seestructuran a su vez en tres ciclos:

    Primer nivel: Grado. Comprende las enseanzas universitariasde primer ciclo y tiene como objetivo lograr la capacitacin de los es-tudiantes para integrarse directamente en el mbito laboral europeocon una cualificacin profesional adecuada. Para el establecimientooficial de un ttulo de grado se debe ofrecer informacin al menosde los siguientes aspectos: denominacin especfica del ttulo con elnmero de horas total y el de cada asignatura incluida en el mismo;

    especificacin de los objetivos del ttulo, as como de los conocimien-tos, aptitudes y destrezas que se deben adquirir con la referencia con-

    Revista Espaola de Control Externo102

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    15/30

    creta de stos en los contenidos formativos comunes; el perfil profe-sional; la relevancia del ttulo y la justificacin en el catlogo de ttu-los oficiales.

    El nmero total de crditos ha de estar comprendido entre 180 y240. El gobierno establece unas directrices generales para los ttulosde grado. La implantacin de los nuevos ttulos de grado se estable-ce que ha de estar finalizada para el 1 de octubre de 2007.

    Segundo nivel: correspondiente a los estudios universitarios deposgrado. Estos estudios deben estar orientados hacia una mayor pro-fundizacin intelectual, posibilitando un desarrollo acadmico disci-plinar e interdisciplinar de especializacin cientfica, de orientacin ala investigacin o de formacin profesional avanzada. Este Real De-creto para regular los estudios de posgrado no impone directrices ge-nerales propias sobre los contenidos formativos de las enseanzas,promueve la flexibilidad y posibilidad de adaptacin a los cambios ysupone la profundizacin de la autonoma universitaria. Este au-mento de autonoma tiene como contrapartida la obligatoriedad derendir cuentas al gobierno. En este sentido se establece que, una vezimplantados, los programas oficiales de posgrado sern evaluadospor la Agencia Nacional de Evaluacin de la Calidad y Acreditacin(ANECA) en colaboracin con las Comunidades Autnomas y las

    propias universidades. Asimismo se recoge en el decreto que ser elMinisterio de Educacin y Ciencia, previo informe del Consejo deCoordinacin Universitaria, el que publicar los criterios, indicado-res y estndares de calidad requeridos para la acreditacin de los res-pectivos estudios.

    Para acceder a los estudios de posgrado es necesario estar en po-sesin del ttulo de grado. Estos estudios tienen como finalidad la es-pecializacin del estudiante en su formacin acadmica, profesionalo investigacin, y se dividen en:

    Segundo ciclo de estudios: dedicado a la formacin avanzada yconducente a la obtencin del ttulo demster. Los estudios universi-tarios de segundo ciclo tendrn una extensin mnima de 60 crdi-tos y mxima de 120, y estarn dedicados a la formacin avanzada,de carcter especializado o multidisciplinar, dirigida a una especiali-zacin acadmica o profesional, o bien a promover la iniciacin en ta-reas de investigacin.

    Tercer ciclo de estudios: conducente a la obtencin del ttulodedoctor. La formacin podr articularse mediante la organizacin de

    cursos, seminarios u otras actividades dirigidas a la formacin inves-tigadora e incluir la elaboracin y presentacin de la correspon-

    La evaluacin externa de la calidad en la educacin superior... 103

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    16/30

    diente tesis doctoral. El estudiante podr solicitar su admisin al doc-torado una vez obtenido un mnimo de 60 crditos en programas ofi-ciales de posgrado o bien cuando se halle en posesin del ttulo de

    mster, siempre que haya completado un total de 300 crditos en elconjunto de sus estudios universitarios de grado y posgrado.

    3. EVOLUCIN HISTRICA Y SITUACIN ACTUALDE LOS SISTEMAS EXTERNOS DE EVALUACINEN EL REINO UNIDO, SUECIA Y ESPAA

    En el cuadro n 2 se recoge la evolucin histrica de los progra-mas de evaluacin llevados a cabo en los tres pases en los ltimosdoce aos, que es el perodo al que recurrimos, por ser 1992 el aoque en los tres pases comienza algn tipo de experiencia o mecanis-mo de evaluacin del sistema universitario.

    Revista Espaola de Control Externo104

    CUADRO 2

    PROGRAMAS DE EVALUACIN DE LA EDUCACINSUPERIOR EN EL REINO UNIDO, SUECIA Y ESPAA

    Espaa Reino Unido Suecia

    1992-1995 1992-1998 1995-2001

    Varias experiencias Dos sistemas: Auditora Institucional

    piloto: Evaluacin de la calidad

    Programa experimental de la enseanza A partir de 1993

    de evaluacin de y revisin de materias Evaluacin del derecho

    la calidad del Auditora de la calidad para conceder ttulos

    sistema universitario acadmica acreditacin

    Proyecto piloto europeo para la

    evaluacin de la

    enseanza

    1995-2000 1998-2002 A partir de 1999

    I Plan Nacional Revisin de materias Evaluaciones nacionales

    de Evaluacin universal de aspectos especficos

    de la Calidad de las Revisin acadmica de calidad

    Universidades Auditora de la calidad

    acadmica

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    17/30

    La evaluacin externa de la calidad en la educacin superior... 105

    Fuente: Elaboracin propia.

    CUADRO 2

    PROGRAMAS DE EVALUACIN DE LA EDUCACINSUPERIOR EN EL REINO UNIDO, SUECIA Y ESPAA

    Espaa Reino Unido Suecia

    2001-2003 A partir de 2002 A partir de 2001

    II Plan de Calidad INGLATERRA Evaluacin nacional

    de las Universidades Auditora institucional de materias y programas

    Compromisos de

    desarrollo

    Revisin acadmica

    de materias

    Evaluacin principal de programas

    de salud

    GALES

    Revisin institucional

    IRLANDA

    DEL NORTE

    Auditora institucional

    (dem Inglaterra)

    ESCOCIA

    Revisin institucional

    dirigida a las mejoras

    A partir del 2003

    Programa de evaluacin

    institucional

    Experiencia piloto

    de programa de

    acreditacin

    Analizando las caractersticas de los sistemas aplicados en cadauno de los pases a lo largo de este perodo, podemos decir que hayalgunas similitudes en la metodologa aplicada en todos ellos, espe-cialmente en el procedimiento de evaluacin. En este sentido pode-mos afirmar que en todos ellos funciona lo que Harvey (1999) deno-minaModelo de rendicin de cuentas delegada, o la generalizacin de loque Neave (2001) denominaEstado evaluador, tambin aplicado a la

    educacin superior, basado en la autorregulacin y la aparicin depoderosos intermediarios. En definitiva, en todos los casos se incor-

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    18/30

    poran cinco elementos: una agencia intermediaria, un informe deautoevaluacin, indicadores estadsticos o de realizacin, una evalua-cin por pares y un informe pblico.

    3.1. Reino Unido

    En las dcadas de los ochenta y los noventa debido a la restriccinde fondos pblicos, acompaada de la presin ciudadana y de los go-biernos, la autonoma institucional con la que cuentan las universi-dades ser acompaada de una mayor rendicin de cuentas de losfondos asignados. Las instituciones siguen teniendo libertad paracontratar al profesorado, seleccionar a los estudiantes, disear su cu-rrculum, establecer los estndares y determinar los mtodos de eva-luacin; pero la dependencia de las instituciones en los fondos esta-tales y la presin para demostrar que estn dando un buen valorpara el dinero (good value for money) en el uso de los fondos pblicossignifica que las instituciones poseen una dependencia considerabledel Estado y de las normas que ste establezca sobre la educacin su-perior (Cannon, 2001; Scott, 2001).

    Desde 1992 hasta 1998 en el Reino Unido estuvieron funcionan-do dos sistemas de aseguramiento de la calidad:

    Una evaluacin horizontal de la calidad: evaluacin de la calidadde la enseanza y revisin de materias. En esta evaluacin en Inglaterrase analizaron seis aspectos: 1) el diseo del currculum, contenidoy organizacin; 2) enseanza, aprendizaje y evaluacin; 3) progreso ylogro de los estudiantes; 4) apoyo y gua a los estudiantes; 5) recur-sos de aprendizaje, y 6) aseguramiento y mejora de la calidad. En Es-cocia se analizan cinco aspectos y en Gales cuatro. La revisin de losresultados obtenidos por las distintas instituciones fueron bastantepositivos, si bien los que peores resultados obtuvieron fueron lasFurt-her Education Colleges.

    Una evaluacin vertical:auditora de la calidad acadmica, con elobjetivo de revisar los mecanismos de aseguramiento de la calidad delas universidades. Su principal tarea es revisar si los procedimientosde revisin de la calidad funcionaban adecuadamente y elaborar uninforme con las recomendaciones sobre las reas determinadas querequiriesen mayor atencin.

    El gobierno britnico establece claramente que el principal pro-psito de la evaluacin externa de la calidad es la rendicin de cuen-

    tas y supone que la rendicin de cuentas conducir a una mejora dela calidad de la educacin superior.

    Revista Espaola de Control Externo106

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    19/30

    En el perodo 1998-2002 se contina con la revisin de materias, ycon laauditora de calidad, junto a larevisin acadmica. En larevisinacadmica a nivel de materias se incluye la revisin de los estndares aca-

    dmicos de los ttulos ofertados y la calidad de las oportunidades deaprendizaje, que a su vez comprende la progresin de los estudian-tes y los recursos para el aprendizaje.

    A partir del ao 2002 se vuelven a introducir nuevos cambiosen los programas con una orientacin hacia laauditora institucional enInglaterra e Irlanda del Norte, larevisin institucional en Gales, mien-tras que en Escocia se pone en marcha la revisin institucional dirigidaa las mejoras (ELIR). El ELIR se centra en los pasos que cada institu-cin ha decidido dar para mejorar continuamente la experiencia de

    aprendizaje de los estudiantes. El proyecto escocs es innovador enque ha sido consensuado entre las instituciones de educacin supe-rior y el Consejo Escocs de Financiacin; integra la mejora de la ca-lidad con el mantenimiento de los estndares, pone el nfasis en elaprendizaje y no en la enseanza y pretende respetar la diversidadde las instituciones de educacin superior, ya que, aunque existenpuntos comunes entre ellas, cada una tiene su propia y nica misiny cada una buscar satisfacer las necesidades de sus propios estu-diantes utilizando la va que considere ms adecuada. As, el informefinal que se elabora es el correspondiente a una evaluacin formati-

    va, y en la nica rea en la que se dar una conclusin sumativaser en la relacionada con la efectividad de los sistemas de educacinsuperior para mantener la calidad y los estndares a un nivel acep-table; las conclusiones en esta rea se realizarn en un formato es-tandarizado para poder comparar los resultados con el resto del Rei-no Unido.

    Los resultados que se han hecho pblicos sobre los primeros aosdeauditora institucional en Inglaterra muestran resultados de ampliaconfianza en la mayora de los casos y las principales recomendacio-

    nes se centran en la necesidad de fortalecer: los marcos instituciona-les para asegurar la calidad y los estndares; la gestin y control de laprovisin colaborativa con centros no universitarios; el uso de la in-formacin y los datos estadsticos, fundamentalmente en lo referentea los empleadores y la participacin de los estudiantes en las comi-siones.

    Para finalizar con el modelo britnico, hay que decir que en la lec-tura de los informes de la Agencia de Garanta de Calidad en la Edu-cacin Superior (QAA), sobre los distintos mecanismos de evaluacin

    externa, llama la atencin el bajo nmero de revisiones negativas encualquier materia o aspecto analizado. Lo cual nos hace reflexionar

    La evaluacin externa de la calidad en la educacin superior... 107

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    20/30

    sobre la utilidad de mecanismos tan sofisticados, en tiempo y dinero,de control pblico para obtener dichos resultados. Consideramosque sera necesario realizar un seguimiento de dichos modelos de

    evaluacin externa, bastante maduros, con el fin de comprobar si laQAA cumple la promesa de reconsiderar y agilizar el escrutinio ex-terno. Ms an, si los resultados de los ltimos aos, extremada-mente positivos para la mayora de las instituciones, se mantienen.

    3.2. Suecia

    Las reformas legales aplicadas durante la dcada de los noventahan potenciado la autonoma universitaria, y el modelo de evalua-cin aplicado hasta el ao 2001 pone el nfasis en la mejora continua.El modelo sueco de esta primera fase se basa fundamentalmente enla auditora institucional, y establece un sistema de mejora de abajo-arriba, el cual ofrece una oportunidad real para, por un lado, cen-trarse en la mejora y no en la rendicin de cuentas y, por otro lado,relacionar la mejora de la calidad con el realce del aprendizaje delalumno; este enfoque se considera que tiene potencial para unir ca-lidad y aprendizaje y posee las siguientes caractersticas (Harvey,1994; Harvey, 1997; National Agency for Higher Education, 2003):

    Orientacin a la mejora.

    Est centrado en la responsabilidad local.

    Fomenta una variedad de mtodos.

    Requiere una informacin mnima.

    Enfatiza los resultados prcticos y elfeedback.

    Est dirigido de abajo hacia arriba ms que de arriba abajo.

    En la primera fase deauditora institucional que abarca hasta el ao

    1998 se seleccionan temas que se consideran claves para aumentar lareflexin y potenciar la autoevaluacin en las instituciones como son:

    Estrategias de los procesos de mejora de calidad.

    Liderazgo.

    Objetivos y estrategias institucionales.

    Identificacin y cooperacin con usuarios externos.

    Participacin del personal en el trabajo de aseguramiento de lacalidad.

    Sistemas de evaluacin y seguimiento.

    Revista Espaola de Control Externo108

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    21/30

    Desarrollo y seleccin del personal acadmico.

    Internacionalizacin.

    Situacin y ambiente de trabajo; equidad.Los resultados de la primera fase de auditora sealan que el ma-

    yor nmero de recomendaciones de los equipos auditores se concen-tra en el liderazgo y establecimiento de estrategias para la mejora.

    En la segunda fase de auditora, que va de 1999 hasta 2002, lasauditoras han tenido tres objetivos fundamentales:

    Llevar a cabo un seguimiento de las recomendaciones realiza-das en la primera fase.

    Averiguar el nivel de progreso de las instituciones en el des-arrollo de sistemas de autorregulacin.

    Examinar el impacto de los procedimientos de aseguramientode la calidad en la organizacin global de la institucin.

    Los resultados obtenidos indican que en la mayora de las institu-ciones auditadas se han llevado a cabo mejoras en los procedimien-tos de aseguramiento de la calidad entre la primera y segunda au-ditora, pero que slo cuatro instituciones, de las 33 auditadas en am-

    bas fases, han conseguido desarrollar completamente sistemas deautorregulacin de la calidad. Al plantearse si es posible identificarlos factores crticos que se consideran decisivos a la hora de estable-cer procedimientos de aseguramiento de la calidad a lo largo deltiempo, la propia agencia seala que los auditores destacan la im-portancia del entusiasmo y el apoyo de los individuos que ocupanpuestos de mando (National Agency for Higher Education, 2003).

    Aparte de las auditoras de la calidad a nivel institucional, tambinse llevan a cabo en esta poca valoraciones del derecho de las instituciones

    de educacin superior a conceder ttulos. Estas valoraciones se llevan acabo a peticin de las propias instituciones y se analiza si la institucinofrece las condiciones necesarias para la provisin de programas deun cierto nivel. Es un tipo de evaluacin que tambin se aplica ac-tualmente y puede ser considerado como un programa de evalua-cin para la acreditacin. Un tercer programa que se lleva a cabo enesa poca es el de las evaluaciones nacionales de materias, pero nica-mente se realizan si se dan razones especficas para ello.

    A partir de 2001 se establece un cambio en el sistema y el objeto

    de evaluacin se desplaza desde la perspectiva de procesos hacia unenfoque centrado en materias, se pasa de analizar cmo se hacen

    La evaluacin externa de la calidad en la educacin superior... 109

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    22/30

    las cosas a qu se hace. El nuevo sistema de evaluacin centrado enlas evaluaciones nacionales de materias y programas analiza tres dimen-siones:

    Las circunstancias en las que se ofrece el programa.

    Cmo se lleva a cabo la educacin.

    Los resultados de la educacin.

    En este nuevo sistema la agencia deja clara su funcin de control,estableciendo que la evaluacin tiene un propsito claro de sancin;si la calidad de un programa se considera inadecuada, el modelootorga poder a la agencia para cuestionar y, si es necesario, revocarel derecho a conceder ttulos. La evaluacin cubre todas las materiasy como aspectos a destacar se seala que es el mismo equipo el queevala todos los programas de una misma materia en todas las insti-tuciones de educacin superior, y que el 60 por ciento de los exper-tos que han participado en los paneles en los tres aos de funciona-miento del programa proceden de otros pases. La propia agencia,en su valoracin del funcionamiento del programa, seala que el sis-tema ha dado lugar a reacciones positivas y negativas; entre las ne-gativas, la gran cantidad de tiempo y recursos que se ha de destinara la autoevaluacin y la dificultad de combinar la mejora y la innova-

    cin con la rendicin de cuentas; entre las positivas es de destacarque slo en el 10 por ciento de los programas evaluados se ha cues-tionado el derecho a conceder ttulos, pero no se ha revocado ningnderecho, ya que las instituciones implicadas han introducido las mo-dificaciones necesarias en el plazo establecido. Por otro lado, se haimpulsado la cooperacin y la creacin de redes entre instituciones anivel de materias.

    Para finalizar, hay que decir que los informes anuales de las dis-tintas revisiones externas llevadas a cabo por la Agencia Nacional

    para la Educacin Superior, a diferencia del caso britnico, son muycrticos y sealan de forma bastante detallada las cuestiones que nohan funcionado bien con la idea de mejorarlas, lo cual nos indica esatradicin de orientacin hacia la mejora desde su constitucin. Espe-remos que en la fase actual, en la que se potencia ms el control,sigan presentando informes que contengan este tipo de orientaciones.

    3.3. Espaa

    En las ltimas dcadas la autonoma de las universidades ha ido

    aumentando con la consiguiente peticin de rendicin de cuentas.Aunque la Ley de Reforma Universitaria de 1983 ya reconoce la im-

    Revista Espaola de Control Externo110

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    23/30

    portancia de introducir procesos formales de evaluacin de la calidadpara las universidades, hay que esperar casi una dcada para quecomiencen los procesos de evaluacin de las mismas. Los objetivos

    del I Plan Nacional de Evaluacin de la Calidad de las Universidades(PNECU) son los siguientes:

    Promover la evaluacin institucional de la calidad de las uni-versidades.

    Elaborar metodologas homogneas para la evaluacin de la ca-lidad integradas en la prctica vigente en la Unin Europea.

    Proporcionar informacin objetiva que pueda servir de basepara la adopcin de decisiones de las distintas organizaciones en elmbito de su respectiva competencia.

    Estos objetivos responden al supuesto segn el cual la responsabi-lidad social de una institucin universitaria no se agota en el simplecumplimiento de las normas jurdicas, sino que, como contrapartidaa su autonoma, incluye tambin la obligacin de perseguir activa-mente la excelencia acadmica y los niveles ms altos de calidad entodos los servicios que presta. El PNECU no establece de antemanoqu universidades, titulaciones, departamentos u otras unidades vana ser evaluadas en cada convocatoria; opta por que sean stas las quedeterminen su alcance. A pesar de su carcter no prescriptivo, la ma-yora de las universidades participan en el mismo. Se adopta unmodelo de evaluacin equivalente al empleado en pases con ms ex-periencia en evaluacin universitaria basado en una evaluacin inter-na, revisin por pares y un informe final (Consejo de Universidades,2000).

    La evaluacin final del plan PNECU (Consejo de CoordinacinUniversitaria, 2002) seala que los dos primeros objetivos se han

    conseguido, aunque no se ha logrado todava desarrollar una cultu-ra de la calidad en las instituciones universitarias. Por otro lado, elPNECU ha generado una sensibilizacin en la comunidad universi-taria hacia la calidad y la evaluacin. Esta sensibilizacin ha impulsa-do la creacin de rganos administrativos de apoyo en las universi-dades, pero se seala que la cultura de la calidad an no ha sidoasumida por el personal de las universidades en su conjunto; tam-bin ha detectado que la mayora de universidades carece de bases dedatos apropiadas para conocer los resultados del proceso educativo.Una fortaleza del PNECU es que tanto los informes de evaluacin

    externa como los informes finales de titulacin se orientan hacia ladeterminacin de acciones de mejora.

    La evaluacin externa de la calidad en la educacin superior... 111

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    24/30

    El II Plan de Calidad de las Universidades (PCU) se establece enel ao 2001 con una vigencia de seis aos. El programa pretende fo-mentar la implantacin de sistemas de calidad en las instituciones

    universitarias que aseguren la mejora continua. Con este plan se pre-tende continuar mejorando el proceso de evaluacin. Pone el nfasisen la transparencia e informacin al ciudadano y abre una va haciala acreditacin de las titulaciones.

    Los objetivos del II Plan de Calidad son:

    Continuar con la evaluacin institucional y fomentar la implan-tacin en las universidades de sistemas de calidad integral para lamejora continua.

    Promover la participacin de las Comunidades Autnomas enel desarrollo de la gestin del Plan, propiciando la creacin de enti-dades autonmicas dedicadas a tal fin.

    Desarrollar metodologas homogneas con las existentes en laUnin Europea para garantizar la estandarizacin de la evaluacin.

    Implantar un sistema de informacin a la sociedad basado en laevaluacin por los resultados y apoyado en un catlogo de indicado-res; se trata de ofrecer una informacin objetiva sobre los estndares

    alcanzados por cada universidad que pueda ser utilizada por los res-ponsables de la toma de decisiones.

    Establecer un sistema de acreditacin de programas, ttulos einstituciones.

    El mecanismo de evaluacin es similar al utilizado en el anteriorPNECU, aunque en el diseo del mismo se pone mayor nfasis enel proceso de seguimiento. Por otro lado, los dos objetivos que seremarcan en este nuevo plan son lainformacin y laacreditacin. Paraello se elabora un catlogo de indicadores aprobado por el Consejo

    de Universidades. El objetivo que se pretende alcanzar con este cat-logo es el de construir un lenguaje comn para compartir la infor-macin entre las instituciones que pueda ser usado para la acredita-cin una vez establecidos los estndares (Vidal, 2003).

    Segn se desarrolla el PCU (2001-2007), se aprueba la Ley Org-nica de Universidades (LOU) en el ao 2001 que introduce cambiosprofundos en la evaluacin de las instituciones de educacin supe-rior. La LOU impulsa la creacin de la Agencia Nacional de Evalua-cin de la Calidad y Acreditacin (ANECA) y de las agencias regio-

    nales, pero no determina claramente las funciones de cada una deellas, con lo cual en el momento actual se pueden dar solapamientos

    Revista Espaola de Control Externo112

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    25/30

    en sus funciones. La LOU establece que la rendicin de cuentas, latransparencia, cooperacin y competitividad de las universidades, ascomo la informacin a la administracin y a la sociedad junto a la

    mejora de la actividad docente, investigadora y de gestin de las uni-versidades se cumplirn mediante la evaluacin, la certificacin y laacreditacin de las enseanzas y de las actividades docentes, investi-gadoras y de gestin del profesorado.

    En el ao 2002 se crea la Agencia Nacional de Evaluacin de laCalidad y Acreditacin (ANECA). Se establece como un mecanismoexterno de evaluacin e independiente del gobierno. Las funcionesque se le atribuyen son las de contribuir a medir y hacer pblico elrendimiento de la educacin superior, y reforzar la transparencia y

    comparabilidad de nuestro sistema universitario. Esta agencia eva-la tanto las enseanzas como la actividad investigadora, docente yde gestin, as como los servicios y programas de las universidades,proporcionando informacin adecuada para la toma de decisiones.Los programas que actualmente tiene en funcionamiento son:

    Programa de evaluacin institucional (PEI). Este programa consti-tuye la continuidad de los planes nacionales de mejora de las univer-sidades (PNECU y PCU). Los criterios e indicadores que se utilizanson los mismos que los aplicados para la acreditacin de titulaciones.

    Los criterios aplicados son seis: programa formativo, organizacin dela enseanza, recursos humanos, recursos materiales, proceso forma-tivo y resultados. En las dos convocatorias que se han realizado es dedestacar que en la segunda de ellas, 2004/2005, se han eliminado delanlisis de los resultados los epgrafes especficos de satisfaccindel egresado y los estudios de insercin laboral. Estos resultados estnmuy poco desarrollados en la mayora de las universidades.

    Programa piloto de acreditacin (PA). Actualmente se est en lafase de diseo de los procesos de acreditacin, para lo cual se ha devalidar la metodologa propuesta por la ANECA; establecer de formaclara los criterios, indicadores y estndares y establecer si se va a op-tar por una acreditacin de s o no o bien niveles de acreditacinde calidad desde mnimo hasta excelente (Vidal, 2003).

    Certificacin. Es solicitada de forma voluntaria y se comprueba elcumplimiento de una serie de especificaciones. Actualmente estnen marcha dos programas: mencin de calidad en los programas dedoctorado y certificado de calidad de los servicios de biblioteca de lasuniversidades.

    Evaluacin del profesorado. Convergencia europea.

    La evaluacin externa de la calidad en la educacin superior... 113

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    26/30

    Aparte de la ANECA, las distintas agencias regionales desarrollandiversos programas de evaluacin en sus reas de competencias. Po-demos citar como un programa bastante innovador por su orienta-

    cin a la mejora y a la obtencin de resultados visibles en las institu-ciones de educacin superior el programa Seguiment de laAgencia pera la Qualitat del Sistema Universitari de Catalunya. Est orientado a titu-laciones que ya han sido evaluadas, para hacer un seguimiento de lapuesta en marcha de las mejoras identificadas en la evaluacin y pro-mover de esta forma la puesta en marcha de sistemas de asegura-miento de la calidad; en este programa el papel de la agencia es msde apoyo que de control.

    4. A MODO DE RESUMEN

    Como caractersticas generales de todos los modelos se pueden ci-tar las siguientes:

    Los objetivos generales son los mismos: desarrollo o mejora, in-formacin y control.

    La responsabilidad de la evaluacin recae en una agencia deevaluacin que es independiente del gobierno y de las instituciones

    de educacin superior. El modelo se basa en: una autoevaluacin, una visita por un pa-

    nel de expertos externos y un informe final.

    Las evaluaciones se realizan tanto de las instituciones de educa-cin superior como de materias y programas, junto con la acredita-cin.

    Se da una tendencia a la participacin de los alumnos y su in-clusin en los paneles de expertos.

    Se pretende ir introduciendo expertos del mundo empresarialo de la administracin en los paneles de expertos.

    Caractersticas especficas a resaltar de los modelos:

    El sistema de educacin superior del Reino Unido ha pasado deser un modelo de amplia autonoma universitaria a un modelo mscentralizado, mientras que el modelo sueco y el espaol han evolu-cionado en sentido opuesto.

    El Reino Unido es el pas que posee un sistema de evaluacinexterna de la calidad ms desarrollado y complejo. Esto supone un

    Revista Espaola de Control Externo114

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    27/30

    trabajo extra considerable para el personal de las instituciones deeducacin superior.

    Actualmente no se puede hablar de un nico modelo britnico;por un lado, estaran Inglaterra e Irlanda del Norte, junto a Galescon pequeas variaciones del modelo, y, por otro lado, Escocia.

    A grandes rasgos podramos decir que el modelo ingls evolu-ciona de una revisin de materias hacia una auditora institucional,mientras que el modelo escocs evoluciona de una revisin de mate-rias hacia una revisin orientada a la mejora (ELIR).

    Suecia, por su parte, ha evolucionado de la auditora institucio-nal, orientada hacia la mejora a evaluaciones nacionales de materias

    en las que el componente de control y sancin juega un papel rele-vante.

    Espaa contina con la evaluacin institucional o evaluacinpara la mejora de las titulaciones que no tiene un componente san-cionador, pero comienza tambin a desarrollar la acreditacin de ti-tulaciones en la que los malos resultados s tienen una penalizacin.

    El modelo escocs actual, el ELIR, es bastante innovador al tra-tarse de un modelo consensuado con las instituciones de educacin

    superior, y muestra un giro de una evaluacin orientada a la rendi-cin de cuentas hacia una evaluacin orientada a la mejora.

    Otro aspecto innovador del ELIR es que plantea analizar ex-plcitamente el papel que juegan los propios estudiantes en su expe-riencia de aprendizaje, y cmo ejercen stos su responsabilidad comoagentes activos del proceso.

    S se puede hablar de un modelo britnico en cuanto a trans-parencia para la opinin pblica, ya que toda la informacin se en-cuentra fcilmente disponible. Incluso el acceso a los informes de to-das las instituciones que han participado en los distintos programas.El modelo espaol, por su parte, es el que menos informacin ofrecea la sociedad.

    La evaluacin externa de la calidad en el Reino Unido desde1992 ha sido fundamentalmente sumativa y no formativa; mientrasque en Suecia y Espaa ha estado ms orientada hacia la mejora.

    En el Reino Unido la evaluacin externa desde 1992 afecta a ladistribucin de fondos, es decir, que tiene un efecto directo de pre-

    mio o castigo sobre las instituciones. En Suecia, hasta 2001, no existeuna relacin directa entre los resultados obtenidos en las evaluacio-

    La evaluacin externa de la calidad en la educacin superior... 115

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    28/30

    nes y los fondos asignados; con el nuevo modelo que se introduce en2002 se deja clara la funcin de control y sancin. En Espaa los re-sultados de la evaluacin no tienen efectos directos en la distribucin

    de fondos. Suecia es el nico pas que utiliza el mismo panel de expertos

    para evaluar todos los programas de una materia en todas las insti-tuciones de educacin superior.

    Si bien en los ltimos aos se ha facilitado la participacin de losalumnos en los programas de evaluacin, todava esa participacin esescasa en el Reino Unido y en Espaa, porque no se ha conseguidoinvolucrarlos.

    La participacin de los empresarios es an ms escasa, ya quese constata que las instituciones no poseen, en ninguno de los trespases, cauces sistematizados para recoger la informacin de los em-presarios que contratan a los egresados.

    En el caso del Reino Unido es sorprendente el bajo nmero derevisiones negativas en cualquier materia o aspecto analizado y la ra-pidez con la que las universidades consiguen mejorar las valoracio-nes negativas.

    Futuras investigaciones:

    Este trabajo se enmarca dentro de una investigacin ms am-plia en la que se pretende relacionar conceptos y modelos de calidad conenfoques y modelos de evaluacin profundizando en losresultados reales dela evaluacin, y consideramos que es este ltimo apartado el puntoms dbil de todos los modelos y es el que requiere un mayor des-arrollo.

    Una segunda cuestin relacionada con la anterior y que se estplanteando desde las instituciones universitarias en los modelos msmaduros es el anlisis coste-beneficio de las evaluaciones. Son mu-chos los recursos, tanto financieros como humanos, que se dedican aestas actividades, y los beneficios que se obtienen para las institucio-nes de educacin superior no estn claros.

    En tercer lugar hay que or las voces de alarma que van sur-giendo sobre el peligro de las evaluaciones escaparate, lo cual nos indi-cara que las instituciones comienzan a conocer cada vez mejor las reglas

    del juego y se adaptan mejor a las mismas sobrevalorando los resulta-dos positivos y ocultando las debilidades.

    Revista Espaola de Control Externo116

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    29/30

    5. BIBLIOGRAFA

    CALDWELL (2001): Higher Education in Scotland: Diversity, distinc-

    tiveness and devolution, en D. Warner y D. Palfreyman (eds.): TheState of UK Higher Education. Managing Change and Diversity, Buc-kingham: SHRE/Open University Press.

    CANNON, S. (2001): The Funding Councils: Governance and Accoun-tability, en D. Warner y D. Palfreyman (eds.): The State of UK Hig-her Education. Managing Change and Diversity, Buckingham: SHRE/Open University Press.

    CLARK, B. R. (1983):El sistema de educacin superior: una visin compa-rativa de la organizacin acadmica, Universidad Autnoma Metro-politana, Azcapotzalco.

    CONSEJO DE UNIVERSIDADES (2000):Plan Nacional de Evaluacin de laCalidad de las Universidades. Informe Anual de la Segunda Convocato-ria, Secretara General. Ministerio de Educacin, Cultura y De-portes, Madrid.

    CONSEJO DE COORDINACIN UNIVERSITARIA(2002):Plan Nacional de laEvaluacin de las Universidades. Informe global 1996-2000, SecretaraGeneral. Ministerio de Educacin, Cultura y Deportes, Madrid.

    EURYDICE (2004): http://www.eurydice.orgGREEN, D. (1994): What is quality in higher education?, London: SRHE/

    Open University Press.

    HARVEY, L. (1994): Quality Assurance in Higher Education in the UK:Current Situation and Issues, Paper at the NZQA Conference,Wellington.

    (1997): Obstacles to transforming Higher Education, ponencia pre-sentada en Studying Obstacles, conferencia organizada por

    LSVb (The National Union of Students of the Netherlands), Nij-megen, Pases Bajos.

    (1999): Quality in higher education, ponencia presentada en la Swe-dish Quality Conference, Gteborg.

    (2002): The end of Quality?, Quality in Higher education, vol. 8,n 1.

    NATIONALAGENCY FOR HIGHER EDUCATION (2003):How did things turnout? The National Agencys Quality Appraisals 2002.

    (2004): How did things turn out? A mid-term report on the NationalAgency for Higher Educations quality evaluation 2001-2003.

    La evaluacin externa de la calidad en la educacin superior... 117

  • 7/25/2019 Dialnet-LaEvaluacionExternaDeLaCalidadEnLaEducacionSuperio-1217045.pdf

    30/30

    NEAVE, G. (2001):Educacin superior: historia y poltica, estudios compara-tivos sobre la universidad contempornea, Gedisa, Barcelona.

    QAA (QUALITYASSURANCEAGENCY FOR HIGHER EDUCATION) (2003):Handbook for enhancement-led institutional review: Scotland.

    SCOTT, P. (2001): Conclusion: Triumph and Retreat, en D. Warnery D. Palfreyman (eds.): The State of UK Higher Education. ManagingChange and Diversity, Buckinghan: SHRE/Open Univerity Press.

    SURSOCK, A. (2003): Reflection from the Higher Education Institu-tions Point of View, Working on the European Dimension of Quality.Report of the Conference on quality assurance in higher education as partof the Bologna process, Amsterdam, 12-13 marzo 2002. http://www.

    utwente.nl/cheps/documenten/engbook03workingeuropeandi-mension.pdf

    TROW, M. (1996). Trust, markets and Accountability in Higher Edu-cation: A Comparative perspective,Higher Education Policy, vol. 9,n 4, pp. 309-324.

    VIDAL, J. (2003): Quality Assurance, Legal Reforms and the Euro-pean Higher Education Area in Spain,European Journal of Edu-cation, vol. 38, n 3.

    WARNER, D. (2001): Higher education in Wales, en D. Warner yD. Palfreyman (eds.): The State of UK Higher Education. ManagingChange and Diversity, Buckingham: SHRE/Open University Press.

    WESTERHEIJDEN, D. F. (2003): Movements towards a European Di-mension in Quality Assurance and Accreditation, en Working onthe European Dimension of Quality. Report of the conference onquality assurance in higher education as part of the Bolognaprocess. Amsterdam, 12-13 marzo 2002. http://www.utwente.nl/cheps/documenten/engbook03workingeuropeandimension.pdf

    Revista Espaola de Control Externo118