EL SISTEMA DEASEGURAMIENTO DELACALIDAD · tintas áreas del conocimiento, acorde a la diversidad de...

EL SISTEMA DE ASEGURAMIENTO DE LA CALIDAD

Silvina Miceli

El sistema de aseguramientode la calidadEvaluando los instrumentos de medición de la CONEAU

Colección UAI – Investigación

Miceli, SilvinaEl sistema de aseguramiento de la calidad: evaluando los instrumen-tos de medición de la CONEAU / Silvina Miceli. – 1a ed. – CiudadAutónoma de Buenos Aires: Teseo; Ciudad Autónoma de BuenosAires: Universidad Abierta Interamericana, 2019. 194 p.; 20 x 13 cm.ISBN 978-987-723-189-21. Sistemas de Evaluación. 2. Educación Superior. I. Título.CDD 378.007

© UAI, Editorial, 2019© Editorial Teseo, 2019Teseo – UAI. Colección UAI – InvestigaciónBuenos Aires, ArgentinaEditorial TeseoHecho el depósito que previene la ley 11.723Para sugerencias o comentarios acerca del contenido de esta obra,escríbanos a: [email protected]

ISBN: 9789877231892

Las opiniones y los contenidos incluidos en esta publicación son res-ponsabilidad exclusiva del/los autor/es.

El sistema de aseguramiento de la calidad

AutoridadesRector Emérito: Dr. Edgardo Néstor De VincenziRector: Dr. Rodolfo De VincenziVice-Rectora Académica: Dra. Ariana De VincenziVice-Rector de Gestión y Evaluación:Dr. Marcelo De VincenziVice-Rector de Investigación: Dr. Mario LattuadaVice-Rector de Extensión Universitaria: Ing. Luis FranchiVice-Rector de Administración: Dr. Alfredo FernándezDecano Facultad de Ciencias de la Educacióny Psicopedagogía: Lic. Perpetuo Lentijo

Comité editorialLic. Juan Fernando ADROVERArq. Carlos BOZZOLIMg. Osvaldo BARSKYDr. Marcos CÓRDOBAMg. Roberto CHERJOVSKYDra. Ariana DE VINCENZIDr. Roberto FERNÁNDEZDr. Fernando GROSSODr. Mario LATTUADADra. Claudia PONS

Los contenidos de los libros de esta colección cuentan conevaluación académica previa a su publicación.

Presentación

La Universidad Abierta Interamericana ha planteado des-de su fundación en el año 1995 una filosofía institucionalen la que la enseñanza de nivel superior se encuentra inte-grada estrechamente con actividades de extensión y com-promiso con la comunidad, y con la generación de cono-cimientos que contribuyan al desarrollo de la sociedad, enun marco de apertura y pluralismo de ideas.

En este escenario, la Universidad ha decididoemprender junto a la editorial Teseo una política de publi-cación de libros con el fin de promover la difusión de losresultados de investigación de los trabajos realizados porsus docentes e investigadores y, a través de ellos, contri-buir al debate académico y al tratamiento de problemasrelevantes y actuales.

La colección investigación TESEO – UAI abarca las dis-tintas áreas del conocimiento, acorde a la diversidad decarreras de grado y posgrado dictadas por la instituciónacadémica en sus diferentes sedes territoriales y a partirde sus líneas estratégicas de investigación, que se extiendedesde las ciencias médicas y de la salud, pasando por latecnología informática, hasta las ciencias sociales y huma-nidades.

El modelo o formato de publicación y difusión elegidopara esta colección merece ser destacado por posibilitar unacceso universal a sus contenidos. Además de la modalidadtradicionalimpresacomercializadaenlibreríasseleccionadasy por nuevos sistemas globales de impresión y envío pago pordemandaendistintoscontinentes,laUAIadhierealaredinter-nacional de acceso abierto para el conocimiento científico y alo dispuesto por la Ley n°: 26.899 sobre Repositorios digitales

11

institucionalesdeaccesoabiertoencienciaytecnología, sancio-nada por el Honorable Congreso de la Nación Argentina el 13de noviembre de 2013, poniendo a disposición del público enforma libre y gratuita la versión digital de sus producciones enelsitiowebdelaUniversidad.

Con esta iniciativa la Universidad Abierta Interameri-cana ratifica su compromiso con una educación superiorque busca en forma constante mejorar su calidad y contri-buir al desarrollo de la comunidad nacional e internacio-nal en la que se encuentra inserta.

Dra. Ariadna GuaglianoneSecretaría de Investigación

Universidad Abierta Interamericana

12 EL SISTEMA DE ASEGURAMIENTO DE LA CALIDAD

Índice

Presentación de la obra.............................................................. 15

Prefacio........................................................................................ 19

1. Introducción ........................................................................... 21

2. Surgimiento de los sistemas de evaluación de la calidaden educación............................................................................... 33

3. Los sistemas de aseguramiento de la calidad en laliteratura académica .................................................................. 43

4. La universidad como organización....................................... 59

5. La CONEAU y la acreditación como política pública .......... 69

6. La medición de la calidad en la educación superior ........... 89

7. Conceptualizando la calidad académica............................ 107

8. Análisis de las amenazas a la validez y confiabilidad en laetapa de autoevaluación.......................................................... 115

9. Discusión y conclusiones..................................................... 161

Referencias bibliográficas........................................................ 175

Anexo......................................................................................... 185

13

Presentación de la obra

En la nueva relación establecida entre Estado y universidaden la década del 90 se establecieron mecanismos de regu-lación, entre ellos, la normativa que abarcó los dos subsis-temas de la educación superior, y enmarcada por esta ley,una política de evaluación de la calidad de las institucionesuniversitarias y sus carreras.

Desde la sanción de la Ley de Educación Superior lasinstituciones universitarias están obligadas a acreditar lascarreras de posgrado para poder ofertar títulos que poseanvalidez nacional. La CONEAU en cumplimiento de las fun-ciones que le fueran asignadas pautó los procedimientos ydiseñó los instrumentos para relevar la información nece-saria para emitir juicios de valor y tomar decisiones derecomendar o no la acreditación de las carreras en eva-luación.

La autora efectúa un análisis de los instrumentos utili-zados para llevar adelante el proceso evaluativo, haciendofoco en la etapa de la autoevaluación con el objetivo dedetectar posibles amenazas a su validez y confiabilidad.Hace una asimilación del proceso de autoevaluación conel de una actividad investigativa; la construcción de los ins-trumentos de recolección es analizada con las categoríaspropias de la metodología de la investigación. Este marcoconceptual resulta un potente analizador de todo el con-junto, aportando rigurosidad y criterios científicos.

En la obra se distinguen dos órdenes de amenazas ala validez y confiabilidad: uno es el orden conceptual y elotro, el orden instrumental.

15

Respecto al primer orden se plantea que una evalua-ción goza de validez cuando hay una consistencia entreaquello que mide y el concepto que se está investigando. Esaquí donde la autora encuentra una de las amenazas a lavalidez. No surge de la norma que establece los estándaresde calidad para el posgrado (la Resolución Ministerial 160/11) una conceptualización clara de lo que se entiende porcalidad, de allí que la operacionalización de este referen-te sea susceptible de no contener todos los atributos queposee y que requieren ser especificados para ser medidos.Posteriormente a este trabajo se sancionó una resoluciónmodificatoria (RM Nº 2385/15) que establece precisionesen los estándares requeridos para las dimensiones “carre-ras interinstitucionales” y “evaluaciones y trabajos finalespara la obtención del título”; reglamenta además la emi-sión de diplomas y certificados. Esta normativa avanza enla definición de indicadores de calidad respecto a la ante-rior, pero en ella persiste lo encontrado por la autora comodeficitario, que es la conceptualización de calidad.

Existen otros aspectos de orden conceptual que repre-sentan amenazas a la validez y confiabilidad, quizás unode los más relevantes es la falta de consideración sobreaspectos epistemológicos relacionados con la disciplinade cada carrera universitaria. Cada disciplina posee unametodología particular de abordaje de su objeto de estu-dio, posee una tradición disciplinar propia y característicaspeculiares en los modos de enseñanza y de investigación.Las especificidades deberían traducirse en la aplicación deestándares diferentes si se pretende medir aquello que sequiere medir, y captar ese recorte de la realidad lo más fiely objetivamente posible.

En cuanto al orden instrumental, se hallaron diversosdéficits que también afectan el grado de validez y con-fiabilidad de la evaluación. Se encontró por ejemplo la


ausencia de instrucciones claras sobre la naturaleza de losinstrumentos de medición y su forma de aplicación, quesi estuviesen explicitadas reducirían las posibilidades deerrores. El formulario vigente al momento que fue hecha lainvestigación fue modificado, aunque no sustancialmente,por lo cual algunas de las dificultades encontradas en sucompletamiento aún persisten.

Si bien puede pensarse que algunos criterios de lanormativa de estándares adolecen de precisión, es impor-tante considerar que el espíritu de la norma es proporcio-nar estándares y criterios mínimos que se deberán aplicaren un marco amplio y flexible que respete la autonomía delas universidades e instituciones universitarias y considerelas diferencias regionales, institucionales y disciplinares.

La comunidad universitaria se encuentra permanen-temente enfrentada al desafío de lidiar con los procesosde acreditación de los posgrados, que se han ido comple-jizando a lo largo de la historia de la CONEAU. La siste-matización en los formularios de la información para faci-litar su procesamiento informático por el equipo técnicode la institución ha redundado en rigideces para el registrode la información que dificultan una carga adecuada quepermita reflejar la riqueza de estas actividades. Un claroejemplo de ello es la forma de registrar las horas de activi-dad del cuerpo docente que no tiene en cuenta la divisiónfragmentada de las mismas. La simplificación informáticafuerza cargas deformadas para cumplir con los requisitosformales de número de horas totales de los docentes.

Rara vez se reflexiona desde la academia sobre estostemas con el nivel de detalle encarado en esta obra. Porello el presente libro constituye un aporte valioso paratodos los actores universitarios involucrados en los pro-cesos de acreditación con algún grado de responsabilidadtanto en la definición de los estándares de calidad para los

EL SISTEMA DE ASEGURAMIENTO DE LA CALIDAD 17

posgrados, como en la selección y elaboración de los ins-trumentos. Tomar en consideración las amenazas halladaspor la autora redundará en mejores instrumentos para larealización de procesos de acreditación de un modo mástransparente y compartido por los múltiples actores queestán involucrados en él.

Adriana AccinelliDirectora del Departamento

de Orientación Curricular

Osvaldo BarskyDirector del Centro

de Altos Estudios en EducaciónUniversidad Abierta Interamericana


Prefacio

Si tuviera que describir qué implica escribir una tesis, lodefiniría como una relación amorosa entre el tesista y suproducción. Es un proceso que comienza con enamora-miento y ansias de avanzar, sin saber bien a dónde llegare-mos o qué conoceremos. Pero tiene además épocas arduas,durante las cuales la relación se vuelve difícil, monótona, eltesista coquetea con la infidelidad de estudiar otros temasque lo diviertan más, pero lo ata la consolidación de esarelación con su tesis incompleta y el objetivo de llegar jun-tos a buen puerto. Y, además, a pesar de que muchos creenque el trabajo del tesista es una tarea solitaria, en la reali-dad intervienen muchas y diferentes personas que ayudana fortalecer esa relación: los directores de tesis, los entre-vistados, la propia familia, los amigos… pero lo importantees no perder el norte.

Hoy, luego de algunos años de haber escrito mi tesispara la Maestría en Gestión Educativa de la UniversidadSan Andrés, releo mi investigación y recuerdo la época deconstrucción y elaboración de ella como uno de los tiem-pos más trabajosos y dulces a la vez. Hoy puedo decir quemi tesis y yo hemos completado el recorrido.

No obstante, su publicación como libro me ha traídonuevas dudas y miedos. Ahora ya no tengo un lector cauti-vo como lo fueron en el pasado mis directores y mi tribunalde tesis, sino que tengo enfrente un lector desconocidoque dedicará tiempo (mucho o poco, pero tiempo al fin)a la lectura de esta investigación. Ante esta gran respon-sabilidad en la que me veo involucrada por la gananciao pérdida de tiempo del otro al leer este libro, les quierocontar que el propósito principal que me llevó a publicar

19

esta tesis ha sido ofrecer un aporte a la reflexión sobrela importancia de construir y mostrar datos confiables altomar una decisión. Esta tesis fue escrita entre 2012-2015.Pasaron los años y muchas cosas han cambiado y mejo-rado. Le pido al lector que tenga en cuenta que los ejem-plos aquí desarrollados han sido producto de un largo pro-ceso de análisis que, más allá de los ejemplos concretosy coyunturales, pretende hacer germinar en la cabeza decada uno esa mirada crítica que debemos tener al inter-pretar información.

Hecho mi descargo y confesados mis miedos frentea esta responsabilidad, los invito a leer esta investigacióny a compartir sus acuerdos o desacuerdos, pero siempredespertando esa conciencia reflexiva sobre la importan-cia de la validez y confiabilidad del dato para la toma dedecisiones.

Y no puedo cerrar este prefacio sin agradecer infinita-mente a mi directora de tesis, la Dra. Catalina Wainerman,y a mi codirectora, la Dra. Ángela Corengia. Esta investiga-ción ha sido un arduo trabajo construido entre las tres.


1

Introducción

Evaluando la evaluación

La universidad se ha erigido durante años como una de lasinstituciones esenciales en la formación de las sociedadesy en la construcción de las naciones. Su rol ha sido vitalen la educación de aquellos profesionales que lideran elEstado, el mercado y la sociedad civil. En su seno han naci-do diversas ideologías, han convivido en paz o conflictopensamientos opuestos, se ha dibujado el transcurso de lahistoria de los hombres y las comunidades. Esta instituciónsobrevivió gracias a su propia complejidad, lo que le per-mite adaptarse a los cambios y repensarse una y otra vez,sin perder su principal objetivo: forjar ideas y transmitirlasde generación en generación.

En los últimos años la universidad ha tenido que refle-xionar sobre su propia identidad y repensarse en la nuevasociedad del conocimiento. En un contexto caracterizadopor la aceleración y profundidad de los flujos de comuni-cación y de factores de producción, las fronteras se vuelvenporosas, la competencia funciona como herramienta deregulación en todos los aspectos de la vida de las personas,y el hombre busca cómo lograr mayor cooperación en esteescenario tan homogéneo y tan distinto a la vez.

21

En la década del 90, en respuesta al surgimiento delas nuevas exigencias del mercado laboral y científico, sur-gió la problemática del consumismo académico. Este fenó-meno condujo al incremento desarticulado de las ofertasde posgrado. El título de grado dejó de funcionar como unnivel máximo a alcanzar para la promoción profesional yse convirtió solo en una condición para entrar en carrera.Las empresas, las universidades y los organismos públicosbuscan profesionales con posgrados que puedan respon-der a la hiperespecialización del mundo contemporáneo.

Ahora bien, ¿qué consecuencias ha conllevado esteconsumismo académico de posgrados específicamente?En este contexto se comienza a cuestionar la función dela universidad, y los mecanismos de coordinación entreuniversidad, Estado y sociedad. La confianza brindada alas instituciones de educación superior ya no se construyede forma tácita, sino que ahora debe ser explicitada a tra-vés de evaluaciones de calidad. Estas auditorías tienen lafunción, por un lado, de aportar mejor información para ladistribución de fondos públicos a las universidades. Pero,por otro lado, también se ocupan de “purificar” el sistemade educación superior con datos precisos para la sociedadsobre qué programas cumplen con estándares mínimos decalidad. Las acreditaciones se convierten concretamenteen información que ayuda a la demanda (los profesiona-les) frente al incremento desmedido de la oferta educativa.

Sin embargo, esta garantía de calidad que –en lamayoría de los países– el Estado aporta a la sociedad y almercado debe estar respaldada por procesos de mediciónde la calidad que sean válidos y confiables. Por lo tanto,no solo es necesario realizar una evaluación de la calidadde los programas académicos, sino que también se requie-re evaluar la calidad de los procesos de evaluación de la


calidad. Solo en esta medida las acreditaciones podráncumplir el rol principal de garantes de la calidad de losposgrados.

En Argentina, la Comisión Nacional de Evaluación yAcreditación Universitaria (CONEAU) se ha erigido comoel organismo acreditador oficial de carreras de grado deinterés público1 y de carreras de posgrado, entre otras fun-ciones. Teniendo en cuenta que esta política promuevela mejora de la calidad en las instituciones de educaciónsuperior a través de diferentes mecanismos de evaluación,es importante evaluar estos mismos procesos de evalua-ción de la calidad. Una evaluación de la propia evalua-ción garantizará mayor transparencia al sistema. En estesentido, por un lado, la definición conceptual de calidaddebería traducirse en indicadores empíricos, asegurandola validez de la medición a través de la consistencia entreel plano teórico y empírico. Pero, por otro lado, los proce-dimientos utilizados para aplicar dichos indicadores tam-bién deben garantizar la confiabilidad del proceso.

Esta investigación se propone analizar posibles ame-nazas a la validez y confiabilidad de la medición de lacalidad en la etapa de autoevaluación que se lleva a caboen los procesos de acreditación de posgrados realizadospor la CONEAU. Para ello se utilizó un diseño cualitativo

1 De acuerdo al artículo 43 de la Ley de Educación Nacional N.° 24.521, las “carre-ras de grado de interés público” son aquellas cuyos títulos están regulados por elEstado dado que su ejercicio compromete el interés público poniendo en riesgola salud, la seguridad, los derechos, los bienes o la formación de los habitantes.


basado principalmente en el análisis de fuentes documen-tales. Además, se realizaron algunas entrevistas2 a actoresque participaron en estas evaluaciones de la calidad.

1.1. ¿Por qué evaluar las evaluaciones de calidad?

Si la CONEAU ya se ha consolidado a través de los añoscomo organismo oficial evaluador de la calidad universi-taria, ¿por qué es importante evaluar sus procedimientos?Una de las condiciones para que esta consolidación semantenga y fortalezca es que la construcción y aplicaciónde los instrumentos utilizados en sus mediciones pasenpor una revisión periódica. El uso de instrumentos váli-dos y confiables proveerá mayor transparencia al procesoy promoverá la instalación de una cultura de la evaluaciónen las instituciones de educación superior más allá de laexigida por ley a través de la acreditación. En cambio, antela falta de validez y confiabilidad en los procedimientos, lasuniversidades pueden responder burocratizando el proce-so de acreditación que necesitan para ser reconocidas enel mercado educativo. La evaluación se convierte entoncesen meras normativas administrativas y la política pública

2 Descripción de entrevistados: Entrevistado N.° 1: director ejecutivo de un pro-grama de especialización en el área de ciencias sociales de una universidad degestión privada. Además, participó de la acreditación de un programa de maes-tría. Entrevistado N.° 2: responsable de acreditación de un programa de especia-lización y maestría en el área de ciencias de la salud en una universidad de ges-tión privada. Entrevistado N.° 3: director de un programa de maestría en el áreade humanidades de una universidad de gestión privada. Entrevistado N.° 4:coordinador del área de evaluación institucional y acreditación de una universi-dad de gestión privada. Entrevistado N.° 5: secretario académico del área de pos-grado de una universidad de gestión pública. Entrevistado N.° 6: coordinadoracadémico de un programa de maestría en el área de ciencias sociales de unauniversidad de gestión privada.


pierde su sentido. En este caso, la evaluación perdería sumisión principal: contribuir al mejoramiento de la calidaduniversitaria.

Una evaluación de las evaluaciones de la calidadpondrá de manifiesto la posible existencia de problemasadministrativos, organizativos, contextuales y metodológi-cos que pueden surgir durante la implementación de unapolítica pública de aseguramiento de la calidad. Esta publi-cación propone evaluar una etapa del proceso de acredi-tación de posgrados con el objetivo de iluminar aquellosaspectos del proceso de medición que estén presentandoamenazas a la validez y confiabilidad, y que por lo tantoatenten contra los objetivos de la política pública de acre-ditación. Dado que la acreditación analiza una realidadeducativa que es dinámica y con particularidades específi-cas, la evaluación de los propios sistemas de evaluación sevuelve entonces una exigencia para mantener el reconoci-miento social que se ha construido desde su surgimiento.

1.2. Estrategia metodológica

En la presente investigación se realizó un estudio explora-torio sobre las posibles amenazas a la validez y confiabili-dad que pueden influir en el proceso de medición. Se tratóde un primer acercamiento a la temática de la evaluaciónde la evaluación, dado que se identificaron los aspectosmás importantes que hacen al problema de la mediciónde la calidad. Por lo tanto, la estrategia metodológica fuelo suficientemente flexible como para permitir el descu-brimiento de las principales amenazas a la calidad de laevaluación desde diferentes perspectivas.


Como objetivo general nos propusimos analizar laseventuales amenazas a la validez y confiabilidad de lamedición de la calidad en los procesos de acreditación deposgrados realizada por la CONEAU, con foco en la etapade autoevaluación, en el sistema universitario argentino enla actualidad. En esta línea, se establecieron como obje-tivos específicos:

1. Analizar la presencia de amenazas a la validez de losinstrumentos de evaluación: Guía de Autoevaluación;presentación de la carrera (PC); presentación institu-cional (PI); fichas de investigación, de transferencia,de docente, curriculares, de tesis.

2. Identificar si existen factores que amenazan la confia-bilidad de los instrumentos y su aplicación.

La investigación se encuadró dentro de la meto-dología cualitativa, utilizando como principal técnica derecolección de datos el análisis documental. De maneracomplementaria se realizaron entrevistas en profundidada partir de las cuales se indagaron las percepciones de losevaluados sobre la validez y confiabilidad del proceso deacreditación, consultando especialmente sobre las dificul-tades que han tenido y la forma en que las han sorteado.Dado que el objetivo de las entrevistas se concentró enencontrar amenazas a la validez y confiabilidad de los ins-trumentos de medición, se seleccionaron actores que sehubieran desempeñado en cargo de coordinación durantealgún proceso de acreditación y que hubieran tenido quecompletar las guías, instructivos y fichas.

Para conocer la validez y confiabilidad de un procesofue necesario analizar tanto el plano conceptual comoel instrumental, dado que la garantía de calidad de una


medición depende de esta diversidad de aspectos. Por estarazón, tanto los documentos como las entrevistas fueronanalizados inicialmente en estos dos planos.

En el orden conceptual se intentaron responder cues-tiones tales como: ¿Existe una definición conceptual y ope-racional de calidad? ¿Qué lineamientos se proveen sobrelos niveles de calidad esperados? ¿Qué lineamientos sedifunden para la realización de la autoevaluación? Si noexistiera una definición conceptual de la variable a medir,la medición sería inválida porque no habría claridad sobreel fenómeno en cuestión.

En el orden instrumental se tuvieron en cuenta cues-tiones referidas al orden técnico: ¿Cómo están ordenadoslos indicadores de las diferentes dimensiones? ¿Son laspreguntas pertinentes? ¿Son las categorías incluidas en losindicadores excluyentes y exhaustivas? ¿Se solicita la mis-ma información en diferentes preguntas? ¿Qué soportestecnológicos se requiere para cumplimentar el proceso?,y otras referidas al orden psicológico: ¿Los instrumentosproducen algún efecto reactivo sobre los participantes? Siestas cuestiones no se hubieran tenido en cuenta, la medi-ción sería inválida y poco confiable.

Al analizar ambos órdenes, hay que considerar asi-mismo la dimensión epistemológica e indagar si se tuvo encuenta que los posgrados pertenecen a determinadas dis-ciplinas, por lo tanto: ¿Son los estándares e instrumentosde medición adecuados para todo el universo de unidadesde análisis? ¿Los instrumentos fueron construidos tenien-do en cuenta esta diversidad? Si así no fuera, la medi-ción sería inválida porque dejaría de captar una parte deluniverso.


1.3. Estructura de la investigación

La investigación comienza con un capítulo introductorio(capítulo 1) a la problemática de la calidad de los posgra-dos y al tema de estudio de la presente investigación. Elcapítulo 2 describe el marco sociopolítico en el cual surgie-ron las evaluaciones de calidad en el mundo y los diferen-tes modelos de sistemas de evaluación que se han desa-rrollado. Se analiza la preocupación de los Estados desdela década del 90 por garantizar la calidad de las diversaspropuestas educativas. Comenzó a gestarse desde enton-ces una nueva relación entre ciudadanía, gobiernos nacio-nales y las instituciones de educación superior, a partir dela cual se cuestiona a la universidad en sus tareas académi-cas y función social. Gradualmente surgen los sistemas deaseguramiento de la calidad, encargados de evaluar tantoa las instituciones como a los programas académicos quese ofrecen. Siguiendo las tendencias internacionales, losEstados comienzan a organizar sus sistemas de asegura-miento de la calidad basándose en diversos modelos deevaluación a cargo de agencias públicas (dependientes oautónomas del Estado) y privadas.

Dado que la evaluación de la calidad ha surgido endiversos Estados con problemáticas comunes pero siste-mas de educación superior diferentes, este tema se hainvestigado desde distintos enfoques. En el capítulo 3 sedescriben algunos trabajos sobre la temática. El recorridoacadémico demuestra que son diversos los estudios sobreorigen y descripción de los sistemas de evaluación o sobresu impacto, pero faltan estudios que se concentren en ana-lizar la implementación y el proceso de acreditación en símismo: la medición de la calidad y la construcción y apli-cación de sus instrumentos.


En el capítulo 4 se establecen los objetivos de la inves-tigación, surgidos a partir de esta exploración inicial delestado del arte, y se describen las estrategias metodológi-cas que se utilizaron para evaluar la validez y confiabilidadde la medición en la etapa de autoevaluación del procesode acreditación de posgrados.

En el capítulo 5 se plantea conocer la cultura y estruc-tura universitaria, como así también sus mecanismos defuncionamiento, a modo de paso preliminar para evaluarel éxito de las políticas públicas aplicadas a las institu-ciones de educación superior y, específicamente en estaproducción, como paso previo para evaluar la validez yconfiabilidad de los instrumentos de medición que utili-za esta política de evaluación. La universidad es definidacomo una institución compleja en donde conviven diver-sas culturas organizacionales, principalmente la discipli-naria y la del establecimiento (Clark, 1983; García de Fane-lli, 2005). Esta complejidad propia de la universidad comoinstitución debe ser el primer aspecto a tener en cuentaa la hora de planificar e implementar políticas públicas.Particularmente, respecto a las políticas de evaluación dela calidad académica, es importante que los instrumentosde medición consideren a la universidad como un todo,teniendo en cuenta la diversidad de actores y formas defuncionamiento.

Una vez conocido el objeto al que se dirigirá la polí-tica pública, en este caso la universidad, la investigacióncontinúa con el capítulo 6, dedicado a la reconstrucciónhistórica de la política pública de acreditación en Argen-tina. Se presenta asimismo en este capítulo la natura-leza institucional de la CONEAU y una descripción delproceso de acreditación de posgrados, para luego poder


concentrarnos en un análisis de la validez y confiabilidad(condiciones de la calidad de la evaluación) en la etapade autoevaluación.

En el capítulo 7 se desarrollarán los temas de eva-luación y medición. Toda evaluación implica en principioel análisis de una acción respecto a objetivos previamentedefinidos. Por lo tanto, la evaluación es en sí misma unamedición, dado que asigna un juicio de valor dentro de unaescala a determinado fenómeno. Las tareas de toda medi-ción incluyen la decisión de la variable a medir, sus dimen-siones y su operacionalización a través de indicadores yestándares que sean públicamente conocidos y aceptadospor aquellos participantes de la evaluación y la construc-ción e implementación del instrumento de medición. Todoeste proceso debe asegurar su propia validez y confiabili-dad para poder cumplir el objetivo de garante de la calidadacadémica. La validez nos brinda información acerca de sise está midiendo aquello que se desea y la confiabilidadbrinda información sobre la precisión de las medidas.

Dado que la validez depende directamente de la cla-ridad de la definición del concepto a medir, es necesa-rio indagar sobre este concepto en general, y luego cómolo implementa el propio organismo. Todo acto de medi-ción implica la traducción de un concepto teórico en unoempírico. En el capítulo 8 se presenta un recorrido sobrela conceptualización de “calidad” en el ámbito de la edu-cación superior, desarrollando los diversos enfoques quepuede adquirir el término. Sobre esta base teórica se inda-ga entonces sobre el concepto específico de calidad que setoma en cuenta en la acreditación de posgrado, cuyas prin-cipales nociones se encuentran establecidas en la Resolu-ción del Ministerio de Educación de la Nación N.º 160 de2011 (en adelante, RM 160/11), normativa que presenta loslineamientos de calidad esperados.


En el capítulo 9 se presenta el análisis de la validezy confiabilidad del proceso de medición desde un dobleenfoque: conceptual e instrumental, con el objetivo deidentificar amenazas que puedan estar restando precisiónal acto público otorgado por la acreditación de la CONEAUy afectando la misión con la cual nacieron los sistemas deaseguramiento de la calidad: proveer garantía de la calidaddel sistema de educación superior.

Finalmente, en el capítulo 10 se presentan la discusióny conclusiones de la investigación. Primero, una vez quelas eventuales amenazas a la validez y confiabilidad hansido individualmente identificadas, se propone analizarcómo afectan al proceso de implementación en su integra-lidad. Por último, se exponen las conclusiones derivadasdel análisis y posibles líneas de investigación abiertas parafuturos estudios.


2

Surgimiento de los sistemas de evaluaciónde la calidad en educación

2.1. Reformas de Estado y políticas de aseguramiento de la calidad

A partir de la década del 90 los Estados latinoamericanoscomenzaron a implementar una serie de reformas en res-puesta a la crisis que vivía el modelo de Estado de Bie-nestar que se venía sosteniendo. Problemáticas tales comola inflación, el crecimiento del gasto público, la crisis fis-cal y el aumento de las funciones a cargo del Estado lle-varon a los gobiernos latinoamericanos a adaptarse, gra-dual o bruscamente, a las recomendaciones en políticaeconómica que promocionaba el Consenso de Washing-ton. Estas reformas de primera generación se propusieronencoger el aparato estatal sin necesariamente mejorarlo(Oszlak, 1999), dado que el Estado se encargaba de fun-ciones que podrían ser desarrolladas por la sociedad civil,el mercado y otros sectores jurisdiccionales. Se trató deun desprendimiento de sectores a través de herramientastales como la privatización, la desregulación, la terciari-zación de servicios y la transferencia a niveles inferioresde gobierno. El autor también explica que mientras estosprimeros cambios se caracterizaron por ser una reforma“hacia fuera” del Estado, desprendiéndose de muchas desus funciones, en la segunda generación se consideraronreformas “hacia adentro”, dado que estuvieron dirigidasal fortalecimiento institucional. Se intentaba redefinir el

33

papel del Estado a través de la “reinvención del gobierno”buscando mayor efectividad en la acción estatal. Los obje-tivos de esta segunda generación de reformas se dirigie-ron hacia la orientación al ciudadano, responsabilidad porresultados, contratos por objetivos, definición de estánda-res, incentivos al desempeño, capacitación permanente ymayor transparencia de la gestión pública. Sin embargo,los objetivos propios de la primera generación de refor-mas, como ajuste estructural y eliminación del déficit fis-cal, siguieron siendo prioritarios.

Las reformas de segunda generación están relacio-nadas, en última instancia, con el fortalecimiento de lagobernabilidad democrática, la que se vincula con la capa-cidad de las instituciones públicas de articular los dife-rentes intereses sociales, y regular y resolver los conflictosque surjan (Puelles y Urzúa, 2005). Una forma de asegu-rar esta gobernabilidad es a través de las oportunidadesde participación que se les provea a todos los actores conintereses en la cuestión. Filmus afirma entonces que “lagobernabilidad deja de ser un asunto de ingeniería en elámbito de la cúpula del Estado para pasar a ser un pro-ceso más complejo donde deben interactuar un conjuntode actores” (2005).

Las políticas públicas sobre evaluación de la cali-dad en educación superior se implementan en el marcode esta segunda generación de reformas. Las refor-mas modelaron un Estado Evaluador cuya prioridad seencontraba en el fortalecimiento de la planificación y lagestión estatal. Es un tipo de Estado que regula a partirde lineamientos generales básicos que están orientadosa garantizar determinados niveles de calidad, igualdadde oportunidades, eficiencia y racionalidad en el usode los recursos (Domínguez, 2011). Se concentran enlos resultados más que en los procesos internos por los


cuales se alcanzan. Este Estado Evaluador intervieneen la relación entre la universidad, la sociedad y elgobierno al requerir a la primera que cumpla cier-tos procedimientos de accountability para renovar estecontrato de forma explícita. En el caso de Argentina,este tipo de Estado incorporó “técnicas del mundoempresario a fin de introducir mejora en la eficienciay calidad de la prestación del servicio público” (Gar-cía de Fanelli, 2005, citado por Claverie, González yPerez, 2008: 154).

Estas reformas de segunda generación en las quese enmarcaron las políticas de evaluación tambiénintentaron dar respuesta a un nuevo escenario en laeducación superior, dado que hubo en todo el con-tinente una tendencia creciente hacia la creación denuevas instituciones universitarias y no universitarias(tal como se muestra en el cuadro 1), diversificaciónde las ofertas académicas tanto en grado como en pos-grados, y aumento de la cantidad de estudiantes en elnivel superior (como se presenta en el cuadro 2):

Cuadro 1. Cantidad de instituciones universitarias en América Latina 1950-1995

Año Cantidad de instituciones

1950 75

1975 330

1985 450

1995 812

Fuente: Fernández Lamarra, 2008: 60.


Cuadro 2. Cantidad de estudiantes de educación superior en América Latina 1950-1990

Año Cantidad de estudiantes

1950 267 000

1970 1 640 000

1980 4 930 000

1990 7 350 000

Fuente: Fernández Lamarra, 2008: 61.

La CONEAU ha analizado esta tendencia en Argentinaen el informe La CONEAU y el sistema universitario argen-tino (2012). De acuerdo a los datos presentados en el cua-dro 3, mientras que en la década del 70 había 47 universi-dades, en la primera década del siglo XXI ya se registrabaun aumento del 249% de instituciones de educación supe-rior. Y en cuanto a la matrícula universitaria el aumentoentre 1960 y 2009, como se muestra en el cuadro 4, fuedel 933,65%.

Cuadro 3. Cantidad de instituciones universitarias en Argentina 1971-2001

Período Cantidad de instituciones

1971-1976 47

1977-1982 50

1983-1996 85

1997-2011 117

Fuente: Elaboración propia en base a CONEAU (2012: 22).


Cuadro 4. Cantidad de estudiantes de educación superior en Argentina 1960-2009

Año Cantidad de estudiantes

1960 159 643

1975 489 341

1985 667 456

1995 964 622

2005 1 553 700

2009 1 650 150

Fuente: Elaboración propia en base a CONEAU (2012: 23).

Específicamente, la década del 90 se caracterizó nosolo por la expansión del sistema, sino también por sudiversificación (Fernández Lamarra, 2003a). En esta eta-pa se destaca el incremento de instituciones de educa-ción superior no universitarias de diferentes orientacionesy niveles de calidad. También hay una expansión de lasinstituciones universitarias privadas, con gran variedad depropuestas institucionales y académicas. Se incrementa elnúmero de universidades nacionales, especialmente en elGran Buenos Aires, diferenciándose por modalidades deorganización, gestión y oferta académica. Además, en losúltimos años, ha crecido la oferta de carreras a distan-cia. En el área de posgrados específicamente se crean unagran cantidad de especializaciones y maestrías. Fernández(2009) explica que el crecimiento de especializaciones res-ponde a las demandas del sector productivo y profesional,y las maestrías representan incluso el escalafón máximo dedesarrollo profesional de ciertas áreas de conocimiento. Laexplicación del crecimiento de los posgrados también seencuentra en las nuevas exigencias del mercado laboral, ladecreciente valoración de los títulos de grado, las nuevas


exigencias en la formación de docentes establecidos por laLey de Educación Superior y la oportunidad que ven lasuniversidades de generar recursos adicionales a los obte-nidos en el nivel de grado (CONEAU, 2012).

Este nuevo contexto “ha llevado a la sociedad, a losresponsables de las políticas educativas y a las propias ins-tituciones a una mayor atención por los temas de la calidadde la educación superior y su evaluación y acreditación”(Fernández Lamarra, 2003: 5). Se comienza a gestar enton-ces una nueva relación entre instituciones de educaciónsuperior y gobiernos nacionales en torno a la responsabi-lidad pública por los resultados y el mayor control sobreel desempeño de las instituciones (Claverie et al, 2008).Esta nueva relación implicó el crecimiento de la interven-ción gubernamental sobre las universidades en contrapo-sición con el modelo de plena autonomía del que gozabanal tener que dar cuenta de las exigencias de rendición decuentas (Marquina, 2012).

2.2. Modelos de sistemas de aseguramiento de la calidaden educación superior

Fernández Lamarra afirma que la mayoría de los paíseslatinoamericanos acuerdan que los sistemas de asegura-miento de la calidad son necesarios (2008). Por lo quelos Estados deben trabajar no solo en su implementaciónnacional, sino también en la instalación de una verdaderacultura de la evaluación a nivel institucional y regional.

Existen diversos modelos de sistemas de evaluaciónde la calidad. Tunnermann Bernheim (2003) diferenciaentre el modelo de indicadores, de autorregulación o elconceptual ideal. El primero elige indicadores de rendi-miento de las actividades de docencia e investigación con


el objetivo de establecer un orden jerárquico entre lasinstituciones o programas evaluados. En general tambiénincluye sanciones que impactan en su financiamiento. Enel modelo de autorregulación la propia institución se hacecargo de la evaluación para mejorar su calidad y asegurar ala sociedad la confiabilidad de su oferta académica. Com-prende una etapa de autoevaluación y otra de evaluaciónexterna. Por último, el modelo conceptual ideal se basaen un criterio de calidad construido a partir de conceptosteóricos generales y complementarios.

Por otro lado, Claverie et al. (2008) distinguen tresmodelos de evaluación de la calidad desarrollados en dife-rentes regiones del mundo. El modelo americano (tam-bién conocido como modelo externo) incluye variablesobjetivas e iguales para todas las instituciones. En generalcomprende evaluaciones institucionales y acreditaciones,y se desarrolla en dos etapas, autoevaluación y evaluaciónexterna. Los autores critican este modelo porque “se tratade mediciones de variables de calidad, pero no se definenclaramente y no se tiene en cuenta que las distintas ins-tituciones persiguen objetivos diferentes” (2008: 153). Elmodelo europeo (también conocido como mixto) parte deun marco de evaluación que elaboran expertos y represen-tantes de las instituciones. Las universidades deben enton-ces adaptarse a este marco y aplicarlo de manera autóno-ma. El informe final y la decisión están a cargo de agentesexternos. Además, hay una tendencia en dicho continen-te a evaluar los procesos de calidad internos, es decir, lasagencias y los mecanismos que las propias universida-des implementan para evaluar su calidad (Corengia, 2010).Claverie et al. (2008) consideran que este es un modelo deasesoramiento y apoyo para generar gradualmente proce-sos de evaluación propios de cada universidad, creandoconciencia de una cultura de la evaluación. Por último, en


el modelo australiano/canadiense las universidades for-man comités de evaluación conformados por representan-tes de los diferentes departamentos. Estos agentes debenaportar información sobre el funcionamiento y resultadode la institución para mejorarlo. Se trata de una metodolo-gía de investigación y acción, y se fundamenta en la moti-vación interna y el sentido de pertenencia para que los pro-cesos de evaluación cumplan su objetivo. Estos modelosmutaron hacia los mixtos dado que no contrastan resulta-dos, pero sí garantizan procesos de calidad. Claverie et al.explican que “se basa en la interayuda y cooperación entrefacultades consideradas en su globalidad” (2008: 153), deallí la importancia de reconocer a la institución educativacomo un todo unificado.

Los países latinoamericanos han desarrollado engeneral modelos externos y de autorregulación. DiasSobrinho (2008) explica que los sistemas de evaluación enel continente se proponen combinar funciones de mejo-ra y autorregulación, lo que explica el monto por el cualla mayoría de los modelos se basan tanto en la autoeva-luación como en la evaluación externa, e incluyan eva-luaciones y acreditaciones. Se reconoce la autoevaluacióncomo una manera de asegurar el compromiso de la ins-titución con las mejoras que deba realizar, mientras quela evaluación externa permite complementar los resulta-dos y validar las conclusiones y las propuestas de mejo-ra (Fernández Lamarra, 2008). En particular, Argentina haimplementado un modelo externo y de autorregulación acargo de un organismo oficial perteneciente al Estado, elcual incluye evaluaciones institucionales y acreditacionesde carreras universitarias. El procedimiento combina unaetapa de autoevaluación a cargo de las universidades y otraexterna a partir de una evaluación de pares.


Además, la mayoría de los países consideran dimen-siones comunes en los procesos de evaluación y acredita-ción (Fernández Lamarra, 2008), lo que permite profundi-zar las relaciones entre los diferentes sistemas de asegura-miento de la calidad. Estos criterios son: filosofía, misióny visión institucional; plan de desarrollo institucional; nor-mas internas y reglamentos; carreras y programas acadé-micos de grado y/o posgrado; estructuras de gobierno;actividades de investigación; actividades de extensión ointeracción social; personal académico; recursos humanosadministrativos; servicios de atención estudiantil; recur-sos físicos; recursos financieros; capacidad institucionalde autorregulación; comunicación y transparencia; canti-dad de alumnos de grado y/o posgrado y tasa de gradua-ción; convenios de cooperación; capacidad de innovacióne incorporación de nuevas tecnologías.

Sin embargo, dado que la calidad de la educación estánecesariamente relacionada con la situación particular dela institución y del contexto en donde está inserta, “ni laevaluación de la calidad (mejora), ni tampoco la acredita-ción (garantía y certificación) puede basarse en un modelouniversal, abstracto, sin pertenencia” (Fernández Lamarra,2008: 45). Al contrario, la evaluación goza de mayor reco-nocimiento público si se piensa y realiza en el marco socio-político e institucional en el cual surge.

Los organismos y procedimientos de evaluación yacreditación surgidos en Argentina tienen grandes simili-tudes con otros desarrollados en el continente y en otraspartes del mundo. De hecho, la creación de la CONEAUno fue un fenómeno aislado, sino que se enmarcó dentrodel contexto del Estado Evaluador. En este marco, la acade-mia investigó el fenómeno de la evaluación en educaciónsuperior desde diversos enfoques, comparando diferentesexperiencias y analizando su impacto.


3

Los sistemas de aseguramiento de la calidaden la literatura académica

Los procesos de aseguramiento de la calidad en educaciónhan sido un tema muy debatido en la literatura académi-ca desde diversos enfoques, como las ciencias políticas,ciencias de la educación o metodología de la investigación.Se han buscado estudios sobre evaluación de la calidad anivel nacional e internacional, principalmente empíricos,que puedan aportar antecedentes para esta investigaciónsobre validez y confiabilidad de dichos procesos. En estecapítulo no se pretende presentar exhaustivamente todoslos antecedentes bibliográficos, sino sólo aquellos que hanaportado antecedentes y han ayudado a construir un esta-do de situación bibliográfico sobre la temática. Como pro-ducto de esta búsqueda, se puede concluir que la mayo-ría de los estudios se concentran en investigaciones sobredescripciones históricas acerca del surgimiento de los pro-cesos de evaluación y acreditación, otros se enfocan en elimpacto que éstos han tenido sobre diferentes procesosy sujetos involucrados, y unos pocos estudios reflexionanmetodológicamente sobre la medición de la calidad.

43

3.1. Las investigaciones descriptivas acerca del surgimientoy consolidación de procesos de acreditación

Muchas de las investigaciones realizadas en el contextolatinoamericano son de carácter más descriptivo que expli-cativo. En general se proponen analizar la evolución delos diferentes sistemas de evaluación de la calidad en cadaEstado, exponiendo diferentes proyectos e iniciativas quellevaron a la creación y consolidación de la CONEAU ysu integración con otros sistemas de aseguramiento de lacalidad. Tal es el caso de estudios como: “Sistemas de acre-ditación y evaluación de la educación superior en AméricaLatina y el Caribe” de Pires y Lamaitre (2008), “Semejan-zas y diferencias en las políticas de educación superioren América Latina: cambios recientes en Argentina, Brasil,Chile y México” de Alcántara y Silva (2006), “Calidad, eva-luación institucional, acreditación y sistemas nacionalesde acreditación” de Tunnermann Bernheim (2003), “Eva-luación de la educación. Procesos de evaluación y acredi-tación de la calidad de la educación superior en AméricaLatina. Los casos de Argentina, Brasil, Uruguay y Paraguayy la convergencia en el ámbito del Mercador” de Barrey-ro y Lagoria (2010), “Evaluación y acreditación en Amé-rica Latina” de Villanueva (2008), “Modelos y sistemas deevaluación y acreditación de la educación superior. Situa-ción y perspectivas para el mejoramiento de la calidad y laintegración regional” de Fernandez Lamarra (2008), entreotros. Las discusiones a las que arriban se dirigen máshacia la exposición de problemáticas, como la falta de con-senso en la definición de calidad o los inconvenientes deri-vados de la falta de participación en las universidades enla planificación de dichos procesos. Estas investigaciones


dan cuenta del largo proceso que implica la instalaciónde una cultura de la evaluación a nivel nacional, regionale internacional.

3.2. Las investigaciones sobre el impacto de procesosde acreditación

La literatura académica estadounidense, australiana yeuropea se ha concentrado especialmente en estudiar lossistemas de evaluación y acreditación universitaria a partirde estudios de casos y estudios comparados en relaciónal impacto que produjeron estas exigencias en las insti-tuciones de educación superior. Se estudia especialmenteel impacto sobre la relación entre Estado y universidad,el impacto interno sobre la institución universitaria, y elimpacto sobre los resultados obtenidos en diferentes disci-plinas. A continuación, se mencionan algunos textos sobreesta temática:

Impacto sobre la relación entre Estado y universidades

Algunos autores analizan el rol del uso de determinadosindicadores para diferentes funciones y su impacto en larelación entre universidades y gobierno. Por ejemplo, Sizer,Spee y Bormans (1992) realizan en “The Role of Performan-ce Indicators in Higher Education” un estudio comparativosobre el desarrollo y uso de indicadores de performanceen Dinamarca, Holanda, Noruega, Suecia y el Reino Unido.Los autores afirman que el rol de estos indicadores depen-derá de la cultura política, el sistema de financiamientoy los procedimientos para aseguramiento de la calidad.En este sentido, se expone la idea de que para reducir ladesconfianza en el uso de indicadores de performance noalcanza solamente con garantizar la validez y confiabilidad


de estos, sino que además hay que atender a la selección deindicadores que se realizó. Los indicadores de performan-ce cumplen diferentes funciones como monitoreo, evalua-ción, diálogo, racionalización y distribución de recursos.Ahora bien, algunas de las lecciones que los autores sugie-ren para mejorar la cooperación entre Estado e institucio-nes en relación a la confianza en el uso de este tipo deindicadores son los siguientes: que el gobierno se tome sutiempo para especificar y comunicar claramente sus obje-tivos y políticas antes de debatir sobre el desarrollo y uso delos indicadores de performance, y que se invierta tiempo yrecursos en un trabajo conjunto entre el Estado y las insti-tuciones de educación superior para definir la naturaleza,objetivos y limitaciones de estos indicadores

Vidovich (2002) investiga en “Quality assurance inAustralian higher education: Globalisation and steering ata distance” específicamente el caso australiano en el con-texto de la globalización. El argumento más importantedel estudio es que la política de aseguramiento de la cali-dad en la educación superior australiana se ha convertidoen un mecanismo efectivo para promover la rendición decuentas de las instituciones hacia el gobierno. En este con-texto, las autoridades centrales aumentan el control sobrelos resultados, pero no evalúan los procesos o medios paraalcanzarlos.

Impacto sobre la universidad como institución

Un trabajo que vale la pena mencionar es el de Dill(1999), “Academic Accountability and University Adapta-tion: The architecture of an Academic Learning Organiza-tion”. Se investiga los cambios producidos en las universi-dades al estar sujetas a determinados procesos de rendi-ción de cuentas. Las mismas deben aprender entonces agenerar conocimiento sobre la mejora de los procesos de


enseñanza-aprendizaje y, si es necesario, cambiar su com-portamiento para demostrar esta nueva habilidad reque-rida. Es decir, se deben convertir en “organizaciones deaprendizaje académico” (academic learning organizations)que les permitan sobrellevar la presión externa impuestapor los procesos de evaluación. Las características identi-ficadas de estas “organizaciones de aprendizaje académi-co” son la cultura de la evidencia, mejor coordinación delas unidades de enseñanza, aprendizaje a partir de expe-riencias similares, coordinación del “aprendizaje” a todo elespectro de la institución universitaria y transferencia deconocimiento. Las universidades, por lo tanto, han tenidorespuestas adaptativas a los sistemas de rendición de cuen-ta que impactaron sobre su estructura organizacional, loque incluye reestructuración interna, mejoras en la calidadacadémica, promoción de investigaciones interdisciplina-rias y desarrollo de habilidades gerenciales.

Impacto sobre las diferentes disciplinas

Kekale (2000) afirma en “Quality Assessment in DiverseDisciplinary Settings” que las diferencias disciplinariasdeberán ser tomadas en cuenta para la planificación deevaluaciones de la calidad. Esto se explica porque las disci-plinas se diferencian en diversos aspectos, tales como for-mas de investigación, propósitos y objetivos, valores socia-les, perspectivas, patrones de comportamiento, o expecta-tivas, entre otros. El estudio concluyó que en las cienciasblandas (como historia y sociología) es mucho más len-to e incierto asegurar la calidad que en las ciencias duras(como física). El riesgo entonces es que se usen los mis-mos criterios para asegurar la calidad tanto en unas comoen otras. A pesar que hay una creciente aceptación en lasexigencias de accountability a las instituciones de educa-ción superior, el gran desafío es convertir estos procesos


en menos demandantes en términos de tiempo y recursos,por lo que es necesario mantener una pluralidad y toleran-cia básicas en el juicio de las evaluaciones.

Ghedin y Aquario (2006) realizan un estudio similar alanalizar las evaluaciones de la enseñanza en cuatro facul-tades de Italia: Humanidades, Psicología, Ciencias de laEducación y Matemática y Ciencias Naturales. En la inves-tigación se sostuvo que las diferencias entre las facultadesrequieren de indicadores con dimensiones diferentes. Porello es importante desarrollar modelos participativos queinvolucren tanto a docentes como a estudiantes en la for-mulación de los instrumentos de evaluación. De hecho, noexiste una definición absoluta de buena enseñanza, sinoque depende de concepciones particulares. En este sen-tido, los enfoques top-down y bottom-up son necesariospara asegurar la confiabilidad del modelo de evaluacióny, por ello, que todos los actores estén directamente invo-lucrados en la planificación de la evaluación. De hecho,los autores concluyen que una evaluación debería tomaren consideración aspectos independientes del contexto(transversales a las disciplinas) y aspectos dependientesdel contexto (específicos de cada facultad).

Por último, otro de los estudios que resaltan las dife-rencias entre disciplinas es el de Moses (1990). La autora sesitúa en el contexto del sistema de educación superior aus-traliano, en el cual las universidades deben presentar sus“perfiles educativos” (eductional profiles) describiendo susfortalezas en enseñanza e investigación a través de indica-dores de performance (número de publicaciones, númerode becas en investigación, número de graduados en doc-torado, etc.). A partir de estos perfiles el gobierno federaldistribuye recursos entre las universidades. El trabajo seenfoca en estudiar las diferencias que pueden surgir encuatro disciplinas (química, ingeniería, lengua y literatura


y humanidades) y cómo impactará en los resultados deestos indicadores. La conclusión que se expone es que nose pueden utilizar los mismos indicadores para medir dis-ciplinas diferentes, dado que el desarrollo de cada una seda en climas de enseñanza e investigación con cualida-des distintas.

En el ámbito regional latinoamericano, y especial-mente en Argentina, hay también múltiples estudios sobreel impacto que han generado los procesos de acreditación.De hecho, la propia CONEAU ha llevado a cabo investi-gaciones que se proponen reflexionar sobre los resultadosderivados de sus funciones y perspectivas futuras de tra-bajo: “La educación transnacional” de Ana M. García deFanelli (1999), “Procesos de acreditación en las carreras deIngeniería: ¿Mejoramiento en la calidad o adaptación a lasnormativas?” de Emilce Moler (2006), “La evaluación porpares en el escenario actual de aseguramiento de la calidadde la educación superior. Un estudio comparativo de seiscasos nacionales” de Mónica Marquina (2006), “El procesode acreditación de carreras de grado de Ingeniería Agronó-mica y su impacto en la mejora de la calidad educativa” deCarmen Viale y María Eugenia Martínez (2011).

Otros autores que también han investigado el impactode los procesos de acreditación sobre las universidadesson Krotch, Camou y Pati (2007), quienes coordinaron lasinvestigaciones que se incluyen en la obra Evaluando laevaluación: políticas universitarias, instituciones y actoresen Argentina y América Latina. Los trabajos compiladosse orientan al análisis de la relación entre las políticaspúblicas de evaluación de la calidad y la respuesta delos actores involucrados respecto a la dinámica institucio-nal de la universidad y las estrategias utilizadas por losevaluados (específicamente por autoridades y docentes-investigadores). Se afirma que el impacto no es homogé-


neo dado que se encontraron diferentes tipos de reaccio-nes. Los actores han respondido formal o informalmentebasándose en tres estrategias que van de la cooperación alconflicto: adopción, adaptación y resistencia. Pero la res-puesta desde la institución no se resume en la suma delas respuestas individuales, sino que se concluye que hansurgido procesos y prácticas que son autónomos y que sehan internalizado en el diseño de la institución.

Corengia (2010) lleva a cabo un trabajo en el cualse pregunta cuál ha sido el impacto de la política y losprocesos de evaluación institucional y de acreditación decarreras de grado y posgrado en las funciones de docen-cia, investigación, extensión y gestión en las universidadesargentinas y en los actores institucionales. La autora con-cluye que, en el caso de posgrados, el impacto sobre lasfunciones es menor que en el grado, dado que se aplicanestrategias adaptativas para responder a las evaluacionesde los pares académicos. En el caso del impacto sobrelos actores, Corengia propone tres categorías diferentesde percepciones: adopción plena, adopción pragmática yresistencia pasiva.

Uno de los estudios más recientes sobre la temática lollevó a cabo Marquina (2012), en el cual estudia el funcio-namiento del sistema de acreditación desde sus orígeneshasta la actualidad buscando los sentidos de esta políti-ca pública y los problemas que ha tenido que atravesardesde la mirada de diversos actores participantes en lasacreditaciones de grado y posgrado. Para ello analiza trestipos de tensiones que se dan en el sistema: las tensionesinternas de la CONEAU como producto del accionar detécnicos y miembros, las tensiones en el ámbito académi-co como producto del accionar de los pares evaluadores y


las tensiones en las universidades o unidades académicascomo producto de su propio accionar para responder a lasexigencias de esta evaluación.

Por último, recientemente se publicó la obra Eva-luación y acreditación universitaria. Actores y políticas enperspectiva (San Martín ed., 2014), que incluye siete tra-bajos que analizan el impacto de la acreditación sobrediversos procesos, sujetos e instituciones, como así tam-bién los futuros escenarios que habrá que enfrentar enel área de acreditación. En este libro Marquis analiza elimpacto de los procesos de evaluación a través de los infor-mes de pares evaluadores en cuatro universidades quedebieron repetir su evaluación externa. Otros autores seenfocan en el impacto sobre los actores, como Marquina,quien indaga las percepciones de miembros y técnicos dela CONEAU, los pares evaluadores y las autoridades de lascarreras acreditadas. En esta misma línea, Corengia se con-centra en las percepciones que tienen directivos de uni-versidades públicas y privadas respecto al funcionamien-to de la CONEAU y el impacto sobre las instituciones, yTrotta y Atairo, desde otra perspectiva, se enfocan en lamirada de los estudiantes universitarios, quienes adoptanuna determina posición sobre las políticas universitariasimplementadas. Por otro lado, Pugliese dirige su miradahacia las distintas iniciativas surgidas ante los resultadosde las acreditaciones para solventar los planes de mejora.La obra también incluye la presentación del Programa deEvaluación Institucional de los Organismos de Ciencia yTécnica, iniciativa independiente de la acreditación, peroque complementa la evaluación institucional que realizala CONEAU. Finalmente, Unzué analiza desde un planomás teórico los conceptos de pertinencia y calidad y suvinculación.


Las obras latinoamericanas, y especialmente argenti-nas, sobre el impacto de los procesos de acreditación sehan enfocado más en el efecto sobre actores y procedi-mientos, y no tanto en la relación con el Estado o en larelación con disciplinas diversas. No obstante, no se hanencontrado muchos estudios que analicen la implementa-ción de los instrumentos de medición desde una perspec-tiva metodológica, análisis que podría realizar un aporte ala superación de los diversos obstáculos identificados enlos estudios de impacto.

3.3. Algunos análisis sobre la validez y confiabilidaden los instrumentos de medición de la calidad académicaen educación superior

Las investigaciones sobre validez y confiabilidad de la eva-luación son escasas. Algunos de los estudios de este tipolos llevaron a cabo Barcos (2008), Ríos (2001) y Gallardo(2011).

Barcos estudia las mediciones de la calidad en educa-ción y afirma que estas políticas de evaluación requirieronel desarrollo de sistemas de información constituidos porindicadores predictores de resultados. Las organizacioneseducativas han establecido sistemas automáticos de infor-mación “capaces de facilitar tareas mecánicas y rutinarias,evitar errores y mejorar controles” (2008: 222). Sin embar-go, estas cualidades no son suficientes para responder ala preocupación permanente de las instituciones educati-vas por mejorar la gestión. La validez y confiabilidad delos sistemas de información se ven amenazados por diver-sos factores. En principio, Barcos menciona que se gestio-nan por separado los procesos de comunicación institucio-nal, los sistemas de información que se implementan y el


procesamiento de los datos. El divorcio entre los diversosprocesos se ve dificultado además por el atraso tecnológicode los sistemas, la falta de un diseño apropiado de reco-lección de información, la inadecuada participación de losusuarios y la falta de capacitación de los involucrados enlos procesos de evaluación (Barcos, 2008).

Para asegurar la validez en el diseño de los sistemasde información y evaluar la utilidad en su funcionamiento,Barcos provee una serie de requisitos a considerar (2008):economía y costo: implica la comparación entre los costosde producir la información y los beneficios de utilizarla;utilidad: es el criterio que intenta evitar la creación de ins-trumentos de recolección de información que no se jus-tifiquen; oportunidad: se refiere a que la información sedebe recabar en un lapso adecuado, teniendo en cuenta lostiempos que se necesita para su procesamiento y respues-ta; corrección: es la precisión de la información en relacióna la decisión que se desee tomar; relevancia; se trata dela significación que la recolección de los datos debe tenerpara la toma de decisiones; excepción; la informacióndebe permitir trabajar sobre las distorsiones para corregiry orientar los procesos; comparatividad: los sistemas deinformación deben producir datos que sean comparablesrespecto a las unidades de análisis (uniformidad) y perío-do de tiempo (periodicidad); flexibilidad: hace referenciaa la adaptación de los sistemas según las necesidades deinformación que se requiera; comprensibilidad y claridad:la información que no se comprende tiende a desecharseo rechazarse; confiabilidad: evitar introducir errores en larecolección de los datos primarios; disponibilidad: posibi-lidad de acceso a los datos siempre que fuera necesario;seguridad: hace referencia no solo a la seguridad física de


la información, sino también al cuidado frente a posiblesusos fraudulentos; confidencialidad y protección de la inti-midad de las unidades de análisis.

Si los sistemas de acreditación implementados en elnivel superior se basaran en sistemas de información quetuvieran en cuenta estos requisitos, las decisiones toma-das estarían justificadas entonces por datos válidos y con-fiables. No obstante, los instrumentos de recolección deinformación no solo deben cumplir con las exigencias téc-nicas especificadas por Barcos, sino que también debenconvertirse en la traducción operativa de ciertos concep-tos, como el de calidad académica. Para ello es necesa-rio que las instituciones educativas reciban lineamientosclaros sobre qué se entiende por calidad educativa, paraque luego puedan traducir estos conceptos en indicado-res apropiados.

Tomando en cuenta los conceptos de validez y confia-bilidad, Ríos (2001) y Gallardo (2011) analizan los instru-mentos de medición de la calidad en educación superioren diferentes contextos. Ríos hace un estudio comparativoentre las instituciones de acreditación en México y Esta-dos Unidos. En este último caso, la autora explica que hayseis agencias acreditadoras regionales y cuarenta organi-zaciones que acreditan programas específicos. Debido a lamultiplicidad de agencias acreditadoras, Ríos afirma quelas instituciones solo pueden responder a sus exigenciassi reciben direcciones claras sobre lo que es considera-do importante para la mejora del proceso de enseñanza yaprendizaje. El gran problema de la acreditación en Esta-dos Unidos es que cada agencia sostuvo una postura dife-rente, por lo que es esencial que cada agencia acreditadorapueda desarrollar “ejemplos específicos de la documen-tación o evidencia requerida y/o sugerida para demos-trar cumplimiento con los indicadores” (2001: 5). De lo


contrario, cada institución construirá sus propios indica-dores, pero en última instancia dependerá del juicio delequipo visitador para decidir si la evidencia bajo revisiónes suficiente. Idealmente, el concepto de calidad y los indi-cadores que se utilicen para su evaluación deben surgir delacuerdo entre las instituciones en lugar de ser establecidosexternamente (Ríos, 2001).

Gallardo también se refiere a la necesidad de describirde forma más extensa los criterios de logro de la calidaden los procesos de evaluación. En su artículo “Midiendocalidad en educación superior: análisis de confiabilidady validez de una encuesta de certificación de calidad delpregrado, versión estudiantes” (2011) realiza un análisiscuantitativo de la confiabilidad y validez del constructo dela escala de certificación de calidad educativa para estu-diantes implementada por la Comisión Nacional de Acre-ditación (CNA) de Chile. El autor sostiene que la fase deautoevaluación de los procesos de acreditación constituyela base del proceso de aseguramiento de la calidad, dadoque es fuente de información fundamental para identificardebilidades y fortalezas, revisar avances y pensar mejoras.La encuesta para estudiantes es uno de los instrumentosaplicados en la autoevaluación. No es un instrumento obli-gatorio, sino que es provisto por la CNA como ejemplo.Gallardo considera que la no obligatoriedad puede expli-car que nunca se hayan evaluado sus propiedades métricaso los criterios utilizados. Sin embargo, “dada la importan-cia del proceso de autoevaluación en el proceso de ase-guramiento de la calidad, es necesario contar con instru-mentos de evaluación que sean confiables y válidos” (2011:111). Y, si bien hubo avances importantes en control, ase-guramiento y fomento de la calidad educativa en Chile y entodo el continente latinoamericano, son pocas las investi-gaciones que evalúan los instrumentos utilizados. Gallardo


finalmente concluye que las dificultades actuales del sis-tema de acreditación “poseen problemas relacionados conla vaguedad de definiciones y criterios que permiten a losrevisores confiar de manera excesiva en lo que ellos defi-nen como calidad” (2011: 120).

Otro de los documentos que aportan algún conoci-miento sobre validez y confiabilidad de los instrumentosde medición son las propias evaluaciones que la CONEAUvoluntariamente ha decidido llevar a cabo para revisar sunaturaleza y procedimientos. En 2002 la CONEAU publicóel documento “Contribuciones para un análisis del impac-to del sistema de evaluación y acreditación”, el cual sinte-tizaba los resultados de una autoevaluación realizada pararendir cuentas al Banco Mundial. En 2003 se publicó lavisión de los beneficiarios de CONEAU en el informe “Eva-luación del grado de satisfacción por parte de los usuarios/ beneficiarios de las acciones de la CONEAU”, elaboradopor el Dr. Aldo Isuani. Un tiempo más tarde, en 2006, laCONEAU realizó voluntariamente una evaluación institu-cional llevada a cabo por IESALC – UNESCO. Finalmente,en 2011, el organismo publicó el informe “Avances de Ges-tión desde la Evaluación Institucional”, que contiene unarendición de cuentas sobre los avances realizados en basea las recomendaciones hechas por IESALC – UNESCO en2006. En base a todas estas evaluaciones, Marquina sinteti-za como principal resultado la legitimación de la CONEAUdentro del sistema universitario, “dado que las discusio-nes ya no se centraban sobre sus propósitos ni su utilidad,sino sobre los modos de evaluar” (2012: 134). En los infor-mes también identifican algunas debilidades tales comola falta de articulación entre la evaluación institucional ylas acreditaciones, la sobrecarga de trabajo del equipo deCONEAU (problema que disipa la capacidad de autorre-flexión de los participantes sobre los propios procesos por


falta de tiempo, e impacta también en la morosidad de lostrámites), falta de planificación en las agendas de trabajodel organismo y amenaza de rutinización de los procesosde evaluación y acreditación (Marquina, 2012). Se reco-noce que estos aspectos impactan sobre las evaluacionesde la calidad en forma negativa, viciando los procesos deacreditación.

3.4. La necesidad de evaluar la implementación de los procesosde acreditación

Ante los diversos estudios sobre impacto de los procesosde acreditación que se han desarrollado, surge la necesi-dad de evaluar las causas que explican dichas consecuen-cias. Son pocos los estudios que se han realizado sobre estetema específico desde una perspectiva metodológica. Eneste sentido, esta investigación se enfoca en el análisis delas amenazas a la validez y confiabilidad de los instrumen-tos de medición en la etapa de autoevaluación realizadapor la CONEAU durante las acreditaciones de las carrerasde posgrado. Es decir, el propósito es buscar en esta etapade ejecución de la política pública aquellos elementos quepueden influir sobre los resultados mediatos e inmediatosde la política pública.

Para ello se tomó como principal antecedente lainvestigación de Corengia (2005), “Estado, mercado y uni-versidad en la génesis de la política de evaluación y acre-ditación universitaria argentina (1991-1995)”, en la cual seanalizó la génesis de la instalación del tema y formulaciónde la política pública: ¿qué actores participaron duranteesta etapa y cómo lo hicieron? ¿cuál fue el rol de los orga-nismos internacionales de crédito? ¿qué opciones se pre-sentaron y cuál fue la decisión final?, entre otros interro-


gantes. De hecho, la autora afirma que “estos antecedentessugieren la importancia de continuar indagando sobre latemática pero desde análisis que profundicen en la formu-lación e implementación de estas políticas y en el gradode participación de los distintos actores según el escena-rio propio de cada país” (2005: 11). Estas investigacionesadicionales que continúen estudiando la política en todassus etapas harán un aporte para reducir las miradas extre-mas que consideran la evaluación y acreditación como unapolítica que atenta contra la autonomía del sistema de edu-cación superior. Además, ayudarán a consolidar los siste-mas de aseguramiento de la calidad a partir de la reflexiónsobre su propio funcionamiento y las maneras de mejorarsu propia calidad. Para ello, es importante profundizar elconocimiento sobre la universidad como institución paraluego poder comprender cómo fue la implementación deuna política pública dirigida a evaluar las funciones de estaorganización tan compleja.


4

La universidad como organización

Hacia fines del siglo XX diversos factores políticos, econó-micos y sociales han influenciado la estructura y dinámicade funcionamiento de las instituciones de educación supe-rior. Ante este nuevo contexto, los Estados debieron intro-ducir políticas públicas que incluyeran mecanismos útilespara medir la calidad de una oferta educativa ampliaday diversificada. Los indicadores utilizados para dicho findeben atender a las características propias del fenómenoque se evalúa en este caso, las universidades, sin asumirimplícitamente que la sola puesta en marcha de las políti-cas presupone su éxito (García de Fanelli, 2005). Por lo tan-to, el conocimiento de la universidad como organizaciónes una condición previa necesaria para asegurar la cohe-rencia entre los instrumentos de evaluación y lo evaluado,como así también para lograr que los objetivos de la políti-ca pública no se traduzcan solamente en “modificacionessuperficiales en la estructura de la organización, sin conse-cuencias para el núcleo duro de funcionamiento” (Garcíade Fanelli, 2005: 31). Es decir, la eficacia de un instrumen-to de política pública que influye de manera exógena enuna organización depende del conocimiento que se tengasobre los objetivos que persigue la institución y los acto-res que están involucrados, considerando quiénes tienenautoridad para diseñar la estructura normativa, quiénesdeciden sobre la operatoria diaria y qué otros actores influ-yen en el proceso decisorio (García de Fanelli, 2005).

59

Este capítulo se propone examinar a la instituciónuniversitaria como organización compleja, analizando losactores y sus diversas culturas organizacionales, su estruc-tura y los mecanismos de funcionamiento. Este análisispreliminar permitirá evaluar en la siguiente instancia si losinstrumentos de medición de la calidad aplicados por laCONEAU guardan coherencia con las particularidades dela institución universitaria.

4.1. La universidad como organización compleja

Las universidades, como todos los ambientes institucio-nales, se caracterizan por contener reglas o requisitos alos que se deben ajustar los actores para recibir apoyo ylegitimidad. Estas reglas surgen desde la misión de cadaestablecimiento, las agencias reglamentarias estatales, lasasociaciones profesionales, o incluso desde sistemas decreencias generalizados (Powell y Di Maggio, 1999). Porlo tanto, son variadas las formas concretas que puedenasumir las instituciones de educación superior a partir deestas normas que la influyen, y que, según García de Fane-lli (2005), pueden ser tanto formales (constituciones, leyes,estatutos, reglamentos, contratos, procedimientos inter-nos) como informales (ética, confianza, códigos implícitosde conducta).

La complejidad de la institución universitaria se expli-ca de acuerdo a diversos factores: la multiplicidad de fines,la intervención de múltiples actores en los procesos deci-sorios; las diversas culturas organizacionales que convivenen el interior de la organización o la estructura complejaque se deriva de su naturaleza.


Los fines de la institución universitaria

Una universidad define múltiples fines que justifican suexistencia e importancia en la sociedad, entre los cualesGarcía de Fanelli (2005) nombra: formación de profesio-nales para el mercado de trabajo; formación de científicospara la producción y transmisión del conocimiento en lasciencias; formación de líderes políticos y empresariales;formación de ciudadanos dotados de mayor conocimien-to y cultura general; producción de nuevo conocimientocientífico; producción de servicios de asistencia técnica,consultoría y transferencia tecnológica al sector producti-vo y a la comunidad; mejora de la distribución del ingresoa través de la provisión de oportunidades de movilidadsocial ascendente; provisión de un conocimiento indepen-diente de los gobiernos y de los partidos políticos, teniendopor valor orientativo la búsqueda de la verdad; constitu-ción como polo de desarrollo económico y social; preser-vación y diseminación de los valores culturales, etc. Todasestas funciones se pueden resumir en los objetivos explí-citos de enseñanza, investigación y extensión. El recono-cimiento de estos objetivos es el fundamento que guíala construcción del diseño estructural de la institución yexplica la presencia de determinadas creencias y culturas.

Los actores del sistema universitario

Los principales actores que intervienen en las funcionessustantivas de la universidad son los docentes, investi-gadores y alumnos. En primer lugar, docentes e inves-tigadores (roles que en algunos casos juega una mismapersona) se posicionan como los motores de la tarea uni-versitaria, dado que llevan a cabo las tareas de produc-ción y transmisión del conocimiento. Y, por otro lado, losalumnos, receptores del servicio educativo, conforman un


grupo heterogéneo que asiste a la institución en búsque-da de nuevos conocimientos y habilidades para su forma-ción académica y profesional. Los tres actores además secaracterizan por pertenecer a una determinada área disci-plinaria que tiene sus propias reglas y tradiciones. Por lotanto, dada la doble pertenencia a una determinada insti-tución y disciplina, “una educación de buena calidad paraun grupo de estudiantes es aquella que se adapta adecua-damente a sus necesidades y capacidades, lo cual frustrala posibilidad de una medida unívoca de calidad” (Garcíade Fanelli, 2005: 74).

Por otra parte, frente a la implementación de políticaspúblicas relacionadas con la calidad total, la planificaciónestratégica o la gestión por objetivos, surgió un grupo deactores con creciente poder en la institución: los profe-sionales de la gestión o gerentes universitarios (García deFanelli, 2005). En este sentido, la universidad experimentauna profesionalización de su gestión llevada a cabo poractores con conocimiento en administración, Por lo tan-to, dentro de la institución universitaria convive una oli-garquía académica junto a una burocracia administrativaespecializada (Clark, 1983).

Por último, entre los actores externos (García de Fane-lli, 2005) que influyen en la universidad se encuentra lacomunidad académica disciplinaria nacional e internacio-nal, la cual se encarga de definir las fronteras del cono-cimiento y adquiere determinadas prácticas de enseñan-za e investigación que conllevan a parámetros específi-cos de calidad. Las organizaciones profesionales tambiéninfluyen al determinar las incumbencias profesionales ylas calificaciones y competencias que se necesitan parael ejercicio profesional. De esta forma, son participantesimportantes a considerar a la hora de determinar conteni-dos curriculares, planes de estudio, estándares de calidad


y pertinencia profesional de las carreras. Y, por otro lado,el personal docente y el no docente se agrupa en sindica-tos, a cargo de la definición de las condiciones laborales,los niveles de remuneración y las propuestas de capaci-tación. Finalmente, es importante mencionar al Estado,actor con creciente importancia en el mundo universitario,quien interviene en cuestiones académicas y financieras,especialmente a partir de la introducción de estándares decalidad necesarios para la acreditación de ciertas carrerasy autorización de instituciones.

La cultura organizacional en la universidad

Se pueden encontrar en la universidad una amplia varie-dad de culturas organizacionales, fenómeno explicado porla diversidad de actores que conviven en ella. Entre ellas sepueden mencionar la cultura de la disciplina, del estable-cimiento, de la profesión y del sistema en general (Clark,1983).

Para empezar, las disciplinas son las “empresas pri-mordiales de los sistemas académicos que operan con suspropios procedimientos modelados a lo largo del esfuerzode varias generaciones” (1983: 118), propiedad que se pro-fundiza aún más al conocer las diferencias en las prácticasde docencia, investigación y servicios de extensión dentrode cada área disciplinaria específica. La cultura discipli-nar trasciende las instituciones, pero debe coexistir con lacultura de cada institución, en cuyo seno se aloja para laproducción y construcción del conocimiento.

El diseño estructural de la universidad

Los actores trabajan a partir de un sistema de creenciasdefinido como la cultura organizacional, pero también deacuerdo a una determinada estructura, definida como “la


suma total de las formas en que su trabajo es dividido entrediferentes tareas y luego es lograda su coordinación entreestas tareas” (Mintzberg, 2000: 6).

El diseño organizacional debe guardar coherencia conlos objetivos de la institución, el contexto del mercado enel cual opera y las regulaciones del Estado. En el caso de lasuniversidad, se pueden encontrar sectores diferenciadosen su estructura: un núcleo operativo, base de la organiza-ción conformado por profesores e investigadores, a cargode las funciones de docencia, investigación y extensión;una cumbre o ápice estratégico, la cual tiene la responsabi-lidad general de la organización (rectores, decanos, direc-tores de carrera, entre otros); la línea media que conectael núcleo operativo con la cumbre y se encarga de trans-formar las políticas generales de la institución en órde-nes más detalladas y concretas (coordinadores de progra-ma); la tecnoestructura , compuesta por aquellos analistas(como los gabinetes pedagógicos) que coordinan tareas yelaboran técnicas para hacer más efectivo el trabajo de laestructura; y el staff de apoyo, que provee servicios indi-rectos necesarios para el funcionamiento de la institución(oficina de admisión, oficina de alumnos, sistemas, centrosculturales y de deportes, etc.).

Esta estructura universitaria se caracteriza por adqui-rir las cualidades propias de una burocracia profesional(Mintzberg, 2000): diseño estructural que confía en losconocimientos y habilidades de los profesionales operati-vos necesarios para el funcionamiento (docentes e inves-tigadores). El poder se encuentra entonces centralizadoprincipalmente en estos profesionales altamente capacita-dos ubicados en el núcleo operativo, característica que seexplica por las particularidades del objeto que produce launiversidad: conocimiento.


Todas estas cualidades de la institución universitariageneran mecanismos de coordinación y regulación quepueden estar reglamentados formalmente o desarrollarseimplícitamente. ¿Cómo se dan esas relaciones en una ins-titución compleja?

4.2. Mecanismos de funcionamiento: coordinación y regulación

Como en toda institución, dentro de la universidad surgeny evolucionan normas y procedimientos que simplificanlos procesos, por lo que el marco institucional limita laselecciones ofrecidas a los actores (Powell y Di Maggio,1999). Estas normas, formales e informales, no solo dic-tarán procesos útiles para la coordinación de actividades,sino que también atenderán a las regulaciones a las queestán atadas las instituciones de educación superior. Deacuerdo a Mintzberg (2000), las normas de funcionamien-to en las universidades se enmarcan en un modelo de des-centralización vertical y horizontal. Es decir, la toma dedecisiones no se decide en el ápice estratégico, sino quelas elecciones se realizan en la parte inferior de la jerarquía(núcleo operativo, descentralización vertical) y el poderdescansa en gran cantidad de no-gerentes (operarios, des-centralización horizontal). Así y todo, toda institución uni-versitaria, más allá del poder que se le puede confiar asus profesores e investigadores, tiene una misión que le daorigen y que guía las actividades más allá de las diferen-cias disciplinarias.

Por la complejidad en las formas de coordinación yregulación que se derivan del diseño estructural de la uni-versidad, esta se asimila a una federación o coalición dedisciplinas, según la describe Clark (1983). Este autor tam-bién la considera una anarquía organizada, dado que la


universidad carece de una definición y vinculación claraentre fines y medios. Otra denominación es la de sistemasdébilmente acoplados para ilustrar la ambigüedad que “sederiva de tecnologías suaves, de tareas fragmentadas y dela continua entrada y salida de sus participantes, así comode la ambigüedad de sus fines” (Clark, 1983: 49). Adrogué,Corengia, García de Fanelli y Pita Carranza (2015), tambiénretomando a Clark, agregan que este débil acoplamien-to también se interpreta como una débil interdependen-cia entre sus partes, cualidad que se traduce en una bajacapacidad de la institución en su integridad para realizarcambios, dado que los cambios en el ambiente de algunade sus partes no necesariamente afectarán el comporta-miento estructural. En este sentido, se dan en el seno dela universidad dos fuerzas contrarias que afectarán la tomade decisiones y la adaptación a las diversas regulacionesque surjan. En primer lugar, hay una fuerza desintegrado-ra que se profundiza con la creciente especialización delconocimiento, fenómeno que convierte a las institucionesde educación superior en organizaciones con base pesa-da porque es una estructura dominada desde abajo (elnúcleo operativo). Pero también existen fuerzas unificado-ras, integradas principalmente por la misión universitariay los objetivos propios de la institución.

Este capítulo se planteó revisar la complejidad de lainstitución universitaria, como así también sus mecanis-mos de funcionamiento, a modo de paso preliminar paraevaluar el éxito de las políticas públicas aplicadas a las ins-tituciones de educación superior.

La universidad es definida como una institución com-pleja en donde conviven diversas culturas organizaciona-les, principalmente la disciplinaria y la del establecimien-to. Esta diversidad se traduce en un diseño estructural quedistribuye el poder entre una oligarquía académica y una


burocracia profesional. La relación entre estos dos gruposse torna muchas veces conflictiva, lo que dificulta la eje-cución de tareas que requieran de ambas competencias.Los procesos de evaluación de la calidad son un ejemplode instancias en que deben participar activamente tanto elsector académico como el administrativo. Por lo que debeser el primer aspecto a tener en cuenta a la hora de plani-ficar e implementar políticas públicas de acreditación. Esvital entonces la participación de la universidad y todos losactores involucrados en las etapas de diseño, implemen-tación y evaluación de la política pública de acreditación.Ahora bien, ¿cómo se llevó a cabo este proceso políticoen el caso argentino?


5

La CONEAU y la acreditación como política pública

La creación de la CONEAU como organismo ejecutor dela acreditación de carreras de posgrado, entre otras fun-ciones, es considerada una política pública que el Esta-do decidió diseñar e implementar en un determinadomomento en que tanto los ciudadanos como el gobiernoconsideraron que el tema era prioritario. La temática dela calidad de las carreras de posgrado estuvo contextuali-zada en una etapa histórica en la que hubo un incremen-to y diversificación desarticulado de la oferta educativa.Este hecho, acompañado por tendencias mundiales sobrela necesidad de mejorar los resultados de aquellas institu-ciones con interés público (como son las universidades),llevaron a la sanción de la Ley de Educación Superior N.º24.521 en 1995 y a la creación de la CONEAU en el mismoaño. Jaime, Dufour, Alessandro y Amaya (2013) explicanque una política pública es en esencia una política estatalporque implica una toma de posición tácita o explícita dealgún componente del aparato estatal, el cual interviene enuna cuestión de interés o movilización de la sociedad civil.A pesar que la calidad de la educación es por naturalezaun tema importante dada su misión de formación de ciu-dadanos y profesionales, en la década del 90 estos tópicosadquirieron una atención específica que llevaron a la tomade posición a través de una política pública.

69

La política pública de acreditación se desarrolló den-tro del contexto general latinoamericano. Ante la crisis delEstado de Bienestar y el surgimiento del Estado Evalua-dor, hubo una tendencia al rediseño de políticas públi-cas con nuevas finalidades e instrumentos de aplicación.En el caso de la educación superior, estas políticas van aintervenir en las funciones sustantivas de la universidad:enseñanza, investigación y extensión (Betancur Bernotti,2000). No obstante, en cada Estado la política pública deevaluación y acreditación universitaria adquirió su tintepersonal, tomando las propiedades específicas que carac-terizan a cada sistema de educación superior de acuerdo asu historia, la fuerza relativa de sus actores y la coyunturasociopolítica que acompaña. En el caso argentino, el Esta-do descentralizó la función de acreditación en una agenciaque trabaja dentro del Ministerio de Educación, lideradapor técnicos cuyo trabajo se sintetiza en la evaluación deinstituciones y carreras de educación superior, de acuer-do a determinados estándares públicamente conocidos através de una resolución ministerial, y con el objetivo deasegurar una oferta educativa de posgrado de calidad.

5.1. Las fases de la política pública de acreditación

Toda política pública tiene un ciclo de vida similar, quese puede acelerar o demorar de acuerdo a la atención quela sociedad civil ponga sobre el tema, a la presión exter-na o interna que tenga el aparato estatal por solucionarla cuestión, y, por supuesto, al grado de complejidad queen su naturaleza tenga la política. Esta complejidad estárelacionada con la cantidad de actores involucrados, el tipo


de organización sobre la cual se está influyendo, o las coa-liciones a favor o en contra de la política pública que seformen, entre otros factores.

A continuación, en la figura 1 se describen las diversasetapas que se suceden en una política pública de acuerdoa Tamayo Saez (1997):

Figura 1. Esquema de fases de las políticas públicas

Fuente: Elaboración propia sobre la base de Tamayo Saez (1997).

En el caso de la política pública de acreditación enArgentina, durante todas las fases del proceso se distin-guieron dos actores principales. Por un lado, el Estado,representado en este caso por el Ministerio de Cultura yEducación y el Congreso de la Nación. Y, por otro lado,la Universidad, que se involucra desde el Consejo Inter-universitario Nacional (CIN), el Consejo de Rectores de


Universidades Privadas (CRUP) y las diversas asociacionesde facultades. Las negociaciones habidas solo tuvieron éxi-to en la medida en que se incluyeron las voces de todosestos actores (Corengia, 2005).

Etapa 1: identificación y definición del problema

Tamayo Saez explica que los problemas no existen obje-tivamente, “sino que son construidos, definidos subjetivae interesadamente por un observador” (1997: 286), por lotanto, los diferentes actores tienen su propia perspectivasobre el problema, que reflejan sus intereses y valores par-ticulares.

En Argentina, la introducción de la acreditaciónobligatoria de carreras de posgrado se explicó más poruna cuestión coyuntural antes que estructural (Corengia,2005). Se puede ubicar temporalmente esta fase en elperíodo 1991-1992, años durante los cuales se tomó con-ciencia de la nueva situación de la educación superior yla cuestión entonces se problematizó. Esto se debió, deacuerdo a Del Bello (citado en Corengia, 2005), al surgi-miento de nuevas disciplinas o subdisciplinas; la masifi-cación, segmentación y diversificación de los programasde posgrado; la valoración de los títulos universitarios;la demanda de formación continua a través de mayoresniveles de especialización y la internacionalización de lascomunidades académicas, entre otros.

Etapa 2: formulación de las alternativas de solución al problema

En el trabajo “Estado, mercado y universidad en la génesisde la política de evaluación y acreditación universitariaargentina (1991-1995)” (2005), Corengia describe la suce-sión de alternativas e instancias de evaluación que surgie-ron antes de tomar la decisión de crear la CONEAU. De


hecho, hay ciertos hitos primordiales de esta etapa que fue-ron estableciendo los lineamientos para la futura decisión,como el Subproyecto 06 y la creación de la Secretaría dePolíticas Universitarias (SPU).

Subproyecto 06 (1991)

El Subproyecto 06: Fortalecimiento de la gestión y coor-dinación universitaria surge por un acuerdo firmado entreel Ministerio de Cultura y Educación de la Nación y elConsejo Interuniversitario Nacional, y recibe apoyo finan-ciero del Banco Mundial a través del Programa Nacionalde Asistencia Técnica a los Servicios Sociales (PRONATAS)y cooperación técnica del Programa de Naciones Unidaspara el Desarrollo (PNUD). La misión del proyecto se resu-me en el mejoramiento de la calidad de la enseñanza uni-versitaria. Se prevé una evaluación institucional que seenfoque en la calidad y pertinencia de las principales fun-ciones de la universidad: docencia, investigación, exten-sión y servicio, administración, gestión y planeamiento. Laevaluación estaría a cargo de la Comisión Nacional de Eva-luación, organismo autónomo del Estado, integrado porel Ministerio de Cultura y Educación, el CIN, el Congresode la Nación y las Universidades Privadas. La evaluaciónsería integral, constituida por una etapa interna a cargode las propias universidades y otra externa a través de uncomité de pares.

En este proyecto Marquis y Sigal proponen un ins-trumento de evaluación de la calidad universitaria queobserva las funciones sustantivas (docencia, investigacióny extensión) y las de apoyo (gestión y bienestar univer-sitario). Estas dimensiones se desagregan en 45 variablesponderadas que se clasifican en tres categorías: insumos,procesos y productos. A pesar de que se advierte que el tér-mino “calidad” es complejo, “todas las variables seleccio-


nadas son factibles de medición, porque han sido desagre-gadas en indicadores observables y cuantificables” (Mar-quis y Sigal, 1993, citado en Menghini, Campo, Richmond yVisorsky, 2007). Los autores remarcan la necesidad de queeste instrumento de evaluación sea confiable y cuente convalidez teórica. Menghini et al. consideran que esta pro-puesta traduce una concepción de medición que es neu-tral, objetiva y tecnicista, ya que el instrumento puede seraplicado por diferentes evaluadores sin diferencias, por loque no tiene en cuenta la dimensión subjetiva y política dela evaluación. Dado que Marquis y Sigal afirman que “ellistado final (de variables que compone el instrumento deevaluación) se adapta a las características propias del sis-tema universitario de nuestro país” (Marquis y Sigal, 1993,citado en Menghini et al., 2007), se infiere que este instru-mento se convertiría en un modelo único de evaluación,sin tener en cuenta la diversidad de institutos de educaciónsuperior existentes en Argentina. Esta propuesta específicaes un tipo de evaluación prescriptiva y orientada al control,que niega la participación de la comunidad universitariaen la construcción del instrumento.

La reacción que las universidades tuvieron frente alSubproyecto 06 fue negativa, ya que sintieron que se esta-blecería una “evaluación bajo sospecha” (Mollis, citadoen Dominguez, 2011: 6) que solo se utilizaría con unaracionalidad financiera. Las metodologías además ignora-ban la heterogeneidad disciplinar y los diversos contextosen los que estaba inserta cada universidad. Sintieron quela iniciativa se originó “extramuros académicos”, sin unareal participación del sector universitario en la construc-ción del instrumento de medición. Por todas estas razo-nes, el CIN rechazó el informe final del Subproyecto 06,hecho que puso de manifiesto el interés de las universi-dades de participar en la planificación de los procesos de


evaluación. Este interés también se observó en la organiza-ción de congresos sobre la temática, como lo fueron el Pri-mer Encuentro Interuniversitario Nacional sobre Evalua-ción de la Calidad y el Segundo Encuentro sobre Calidady Evaluación Universitaria, organizados por la UniversidadNacional de Salta y la Universidad Nacional de Rosario,respectivamente, en 1991.

Secretaría de Políticas Universitarias (1993)

La Secretaría de Políticas Universitarias (SPU) se instauró en1993. Se establece como organismo dependiente del Ministe-rio de Cultura y Educación de la Nación, y su misión es defi-nir estrategias para este sector educativo y diseñar políticaspúblicas de evaluación y seguimiento. Una de las ventajas dela Secretaría para instaurar la temática en la agenda del sec-toruniversitarioconsistióenlaconstruccióndeunaestructuraorganizacional con concentración de recursos técnicos, infor-máticosyfinancieros,quepermitierongenerarpolíticaspúbli-casyacuerdosentrelosdiversosactores.

Se complementa en 1993 la creación de la SPU con la ins-tauración del Consejo de Planificación Universitaria Regionaly el Consejo Nacional de Educación Superior. El primero seencargaría del análisis de las ofertas en el nivel superior, mien-tras que el segundo asesora al Ministerio de Cultura y Educa-ción de la Nación en las orientaciones para alcanzar determi-nados niveles de excelencia a partir de la evaluación, acredita-ciónyhabilitacióndetítulos3.Afinalesde1993sefirmóunacta

3 ElDecretoN.°256de1994establecelanormativasobrevalideznacional,perfilyalcan-cesdetítulosdegradouniversitarioysusincumbencias.LavalideznacionaldeuntítuloquequieraestaracreditadooficialmenteporelMinisteriodeCulturayEducacióndebe-rácontarconunperfilyalcancequelaunidadacadémicadescribirá,loscualespuedenserobservadosporelMinisteriocuandoconsiderequenohayadecuaciónconloscon-tenidoscurriculares.Además,elMinisteriodeCulturayEducacióndelaNacióndeter-mina qué títulos requieren “incumbencias”, dado que su práctica comprometería elinteréspúblico.


acuerdoentreelCINylaSPUparatrabajarenlaelaboracióndecriterios para el surgimiento de un órgano de evaluación insti-tucional. En este contexto, en el transcurso del año próximo sefirmaron convenios bilaterales entre la SPU y 16 universidadesy 2 asociaciones de facultades para implementar la evaluaciónde calidad con financiamiento público, pero permitiendo a lasinstituciones de educación superior elegir las metodologías einstrumentos(Marquina,2012).

En 1994 la SPU crea la Comisión de Acreditación de Pos-grado, organismo que se instaura como el principal antece-dente de la CONEAU. La CAP se establece para controlar elincremento de la oferta de posgrados, crecimiento que pusoen duda la calidad y la pertinencia de las nuevas carreras. Seconvoca a la acreditación voluntaria de maestrías y doctora-dos académicos, sin contar a las especializaciones. FernándezLamarra (2003b: 157) describe que el organismo está integra-do por miembros del sistema universitario y académico. Laacreditación se lleva a cabo a través de comités de pares y secalificaalascarrerasencuatrocategorías:A,B,Conoacredita-da. A partir de la acreditación de los posgrados, las universida-des podrían pedir financiamiento al Banco Mundial para susproyectos según los requerimientos que estableciera el FondodeMejoramientodelaCalidadUniversitaria(FOMEC).

En 1994 y 1995 además comenzaron a llevarse a caboencuentros que consolidaron la iniciativa de introducir laevaluación de la calidad en la agenda de la educaciónsuperior. Se realizó entonces el Primer y Segundo TallerNacional Sobre Experiencias de Evaluación Universitaria(Marquina, 2012).

Etapa 3: elección de una alternativa

La alternativa seleccionada luego de las diversas propues-tas debe gozar de la viabilidad técnica y política suficientepara ser implementada. Este factor implica que la alter-


nativa decidida debe contar con un apoyo suficiente porparte de los diversos grupos de interés, pero sin necesidadde gozar de total consenso.

Los diversos intentos de evaluación de la calidad cul-minaron con la sanción de la Ley de Educación SuperiorN.º 24.521 en 1995 y su Decreto Reglamentario N.º 499/95. Dominguez explica que esta ley le provee mayor sis-tematicidad y prescripción a todas las estrategias de eva-luación que se venían diseñando e implementando en elsistema universitario (2011). A pesar de que los actoresuniversitarios no tenían interés o recursos para incorporarla evaluación a sus prácticas (Krotsch, 2002: 162), la Ley deEducación Superior crea la CONEAU, en reemplazo de laCAP, como organismo coordinador de la evaluación insti-tucional, el reconocimiento de instituciones oficiales y laacreditación de carreras de grado y posgrado. La definiciónde los patrones y estándares que se utilizarán para estatarea queda a cargo del Ministerio de Cultura y Educaciónen consulta con el Consejo de Universidades4, dado que laCONEAU es solo un organismo ejecutor de criterios quese negociarán en otros ámbitos. Con la Ley de EducaciónSuperior queda al fin oficialmente reglamentada la evalua-ción de la calidad universitaria, estableciendo específica-mente la acreditación obligatoria de las carreras de gra-do cuyo ejercicio profesional pudiera poner en riesgo demodo directo la salud, la seguridad, los derechos, los bie-nes o la formación de los habitantes, y de todas las carrerasde posgrado. Las convocatorias a dichas acreditaciones serealizan periódicamente.

4 El artículo 46 de la Ley de Educación Superior N.° 24.521 establece que “lospatrones y estándares para los procesos de acreditación serán los que establezcael Ministerio previa consulta con el Consejo de Universidades”.


Con la alternativa seleccionada se buscó tanto viabili-dad política como técnica, dado que los mismos evaluados(las instituciones de educación superior representadas ensu conjunto por el Consejo de Universidades) serán partede la definición de los parámetros sobre los cuales se losevaluará. Además, se incluye en toda evaluación una etapade autoevaluación y otra de evaluación de pares. Por lotanto, se buscó que todos los actores influyentes partici-paran de la elaboración y futura implementación de losprocedimientos que asegurarían la calidad de los posgra-dos: los evaluados, el Estado a través de los técnicos, y laoligarquía académica a través de los pares.

Etapa 4: implementación de la alternativa elegida

Pressman y Wildavsky explican que la implementaciónhace referencia a la sucesión de acciones que se llevan acabo para alcanzar el efecto deseado (Aguilar Villanueva,1992). La presente investigación se concentra en la etapade implementación de la política pública de acreditaciónde posgrados a través del análisis de la validez y confiabi-lidad de los instrumentos de medición utilizados durantela etapa de autoevaluación. Es decir, se toma como ante-cedente la obligación de las universidades de presentarsea las convocatorias de acreditación que realiza la CONEAUpara que sus carreras gocen de validez nacional. Ahorabien, la implementación de este objetivo hace referenciaa las acciones que se llevarán a cabo para garantizar estacalidad. Por lo tanto, un primer paso de la implementaciónes la operacionalización de la variable a medir, y, a con-tinuación, la construcción de todos aquellos instrumen-tos de medición que se utilizarán y las respectivas reglasde aplicación para los mismos. Por lo tanto, el foco deeste trabajo reside en analizar la validez y confiabilidadde una parte de la etapa de la implementación. En última


instancia, estas acciones son las que establecerán las con-diciones iniciales para que las universidades puedan lle-var a cabo su autoevaluación y luego ser evaluadas portécnicos y pares.

Tamayo Saez (1997) explica que la etapa de imple-mentación en realidad es muy difícil de separar de la dedecisión (etapa 3), dado que se trata de un proceso duranteel cual se continúan tomando decisiones. Es decir, una veztomada la decisión, no existe una concreción objetiva eimparcial de la misma ejecutada a través de administrado-res desinteresados en el tema. Al contrario, todo proceso deimplementación de políticas públicas implica una nego-ciación constante entre actores legítimos que “establecenlas condiciones iniciales que permiten la implantación delas políticas y, conseguidas estas, mantienen su compro-miso durante el desarrollo de la implantación” (TamayoSaez, 1997: 302). De acuerdo al grado de participación quese les provea a los actores, se pueden identificar políticaspúblicas top-down o bottom-up. Entre las primeras encon-tramos aquellas en las que existe una separación entreuna esfera política que decide y una esfera administrativaque ejecuta la decisión. Por lo tanto, la administración notiene ningún tipo de influencia, sino que es simplemen-te una variable dependiente de la esfera política (TamayoSaez, 1997). Por otro lado, las políticas bottom-up hacenreferencia a un modelo que sostiene la idea que la realimplementación de una política pública se da cuando elciudadano entra en contacto con la organización públicaque es responsable de distribuir los bienes. Tamayo Saez(1997) o Aguilar Villanueva (1992) han desarrollado la ideade que las probabilidades de éxito de un programa aumen-tarán en la medida que la decisión se forme a partir delcontexto local, el cual tiene determinadas capacidades defuncionamiento de acuerdo a sus fortalezas y debilidades.


Una política global entonces deberá tener una microimple-mentación que tome esta idea básica y la adapte a las con-diciones locales. En el caso de la política de aseguramientode la calidad (política global), esta se debería implemen-tar de acuerdo a las cualidades propias de la universidad,la cual se caracteriza por ser una organización complejacon diversas propiedades regionales, disciplinares y profe-sionales. No obstante, las políticas públicas no se dividencategóricamente entre aquellas implementadas según unmodelo top-down o bottom-up. En realidad, en las diver-sas etapas de la fase de implementación, durante la cualse continúan tomando decisiones, hay momentos en losque son necesarios mecanismos top-down (promoviendouna implantación programada) y otros momentos en losque son necesarios mecanismos bottom-up (promovien-do una implantación adaptativa). En el caso de la políticapública de acreditación, existió un momento top-down alestablecer mediante la Ley de Educación Superior la obli-gatoriedad de acreditación para las carreras de posgrado.No obstante, la implementación progresiva se dio a tra-vés de decisiones top-down y bottom-up. Por ejemplo, ladecisión sobre los estándares de evaluación se da entre elMinisterio de Educación en diálogo con las universidades,pero los instrumentos concretos de medición de la calidadson construidos por técnicos de la CONEAU.

Etapa 5: evaluación de los resultados obtenidos

Todo proceso de implementación de políticas públicasdebe ir acompañado de evaluaciones durante el transcursoo al finalizar la misma. Tal como explica Tamayo Saez(1997), el objetivo es obtener datos que puedan orientary valorar aquellas decisiones que se tomaron durante eldiseño y la ejecución del programa con vistas al futuro. Lasevaluaciones permiten además ir ajustando los detalles ya


sea para alcanzar los fines previstos o para repensar losobjetivos que se habían propuesto al iniciar el proceso.La CONEAU ha consentido voluntariamente a una evalua-ción institucional externa en 2002 y en 2006. A partir desus resultados el organismo se comprometió a trabajar porel mejoramiento de sus procesos e impactos. No obstan-te, teniendo en cuenta que la misión de la CONEAU estápúblicamente legitimada, son necesarios mayores análisissobre las formas de instrumentalización de dichos obje-tivos, datos que alimentarían la mejora del proceso deimplementación. En 2015 la CONEAU llevó a cabo un nue-vo proceso de evaluación institucional.

De acuerdo a los conceptos analizados, la acredita-ción de posgrados es una política pública que se formulólegalmente en 1995. Durante los años anteriores, se lle-varon a cabo diversas negociaciones que involucraron atodos los actores con intereses en la materia. Sin embargo,el primer gran paso consistió en el establecimiento de unorganismo oficial cuya principal función fuera llevar a cabolos procesos de evaluación y acreditación, y reglamentarsus procedimientos. Conocer a la CONEAU y sus meca-nismos de funcionamiento es una tarea previa necesariaantes de evaluar la confiabilidad y validez de su tarea demedición.

5.2. La Comisión Nacional de Evaluación y Acreditación Universitaria

Naturaleza orgánica de la CONEAU

Según la Ley de Educación Superior sancionada en 1995 laCONEAU es un organismo descentralizado que se encuen-tra ubicado en la órbita del Ministerio de Cultura y Edu-cación. Está integrado por doce miembros, quienes sonelegidos por el Poder Ejecutivo Nacional a propuesta de los


siguientes organismos: tres por el CIN, uno por el CRUP,uno por la Academia Nacional de Educación, tres por cadauna de las cámaras del Congreso y uno por el Ministe-rio de Cultura y Educación. Dominguez hace una crítica ala conformación del órgano, dado que considera que susintegrantes son en su mayoría representantes del poderpolítico más que del mundo académico, ya que el PoderEjecutivo Nacional centraliza la selección de ellos (2011).Además, existe cierta disparidad en la representación deuniversidades nacionales y privadas.

La misión del organismo se resume en el desarrollode “una estrategia de asistencia y cooperación que tiende afortalecer dentro del sistema universitario la denominadacultura de la evaluación” (Fernández Lamarra, 2003a: 150).En el artículo 46 de la ley se mencionan como funcionesde la CONEAU:

a. Coordinar y llevar adelante la evaluación institucionalexterna;

b. Acreditar las carreras de grado de aquellas “profesio-nes reguladas por el Estado, cuyo ejercicio pudieracomprometer el interés público poniendo en riesgode modo directo la salud, la seguridad, los derechos,los bienes o la formación de los habitantes” (Artícu-lo 43° de la Ley de Educación Superior). Dentro deestas carreras, de acuerdo al listado disponible en lapágina web de CONEAU, se encuentran arquitectura,biología, farmacia y bioquímica, geología, informáti-ca, ingeniería, ingeniería agronómica, ingeniería enrecursos naturales, ingeniería forestal, ingeniería zoo-tecnista, medicina, odontología, psicología, químicay veterinaria.


c. Acreditar las carreras de posgrado de cualquier ámbi-to de acuerdo a las pautas acordadas entre el Ministe-rio de Cultura y Educación en consulta con el Consejode Universidades;

d. Emitir opinión consultiva sobre la consistencia y via-bilidad del proyecto institucional para que el Minis-terio de Educación autorice la puesta en marcha deuna nueva institución universitaria nacional con pos-terioridad a su creación, o el reconocimiento de unainstitución universitaria provincial;

e. Confeccionar informes para otorgar la autorizaciónprovisoria y el reconocimiento definitivo de las insti-tuciones universitarias privadas.

El organismo tiene capacidad de establecer su propiofuncionamiento a través de ordenanzas y notas técnicas, apartir de las cuales se describen cómo se llevarán a cabolos procesos de acreditación.

El proceso de acreditación de posgrados en Argentina

En el caso de los posgrados, el procedimiento para laacreditación de carreras se encontraba reglamentado enla Ordenanza de CONEAU 45 del 2005. Esta fue deroga-da en 2013 y reemplaza por la Ordenanza de CONEAU59, que aprueba “los procedimientos para la acreditaciónde carreras de posgrado en funcionamiento”. De acuerdoa esta normativa, los pasos de una acreditación son lossiguientes:5

• Paso 1: Convocatoria pública de acreditación de pos-grados

• Paso 2: Formalización de la acreditación

5 En el Anexo figura una descripción detallada de este procedimiento.


• Paso 3: Presentación de la solicitud• Paso 4: Condiciones de ingreso• Paso 5: Medidas preparatorias• Paso 6: Actuación de los Comités de Pares• Paso 7: Proceso de toma de decisiones• Paso 8: Reconsideración

Las carreras nuevas están reglamentadas por la Orde-nanza 56 de 2010, la cual aprueba “los procedimientos parala evaluación de proyectos de carreras de posgrado al soloefecto del reconocimiento oficial provisorio del título”. Ladenominación de “proyecto” cambió a “carrera nueva” conla sanción de la RM 160/111. El procedimiento es similar alde carreras en funcionamiento:

• Paso 1: Formalización de la acreditación• Paso 2: Presentación de la solicitud• Paso 3: Condiciones de ingreso• Paso 4: Medidas preparatorias• Paso 5: Actuación de los Comités de Pares• Paso 6: Proceso de toma de decisiones• Paso 7: Conclusión del trámite

La etapa de autoevaluación estaba formalmente con-templada en la Ordenanza 45 bajo esta identificación. LasOrdenanzas 56 y 59 no la mencionan formalmente, peroestaría contemplada temporalmente entre la formaliza-ción de acreditación y la presentación de la solicitud. Con“autoevaluación”, y tal como se explicitaba en la Ordenanza45, nos referimos a la etapa durante la cual las institucionesdeben completar los instructivos y la Guía de Autoevalua-ción. Durante este período las instituciones no solo reco-lectan datos para que luego sean analizados por el Comitéde Pares, sino que también deben realizar un análisis yevaluación de dicha información.


Los instrumentos de medición de la etapa de autoevaluación

Durante la etapa de autoevaluación, las unidades acadé-micas cuentan con un tiempo establecido para proveerinformación de la carrera a través determinados instru-mentos. Durante este período las unidades académicaspueden hacer consultas a la CONEAU sobre dudas quetengan sobre los documentos a completar o sobre el sopor-te en el cual completar la información.

Los instrumentos de recolección de datos que se utili-zan son los siguientes:

Presentación institucional (PI)

Consiste en el llenado de información en el sistema elec-trónico CONEAU con datos sobre la unidad académica enla cual se inserta la carrera de posgrado. Los instructivosque se incluyen en esta sección versan sobre los siguien-tes puntos:

• Punto1:Informacióninstitucional• Punto2:Infraestructurayequipamientodeusocomún

En la Nota Técnica preparada para cada convocatoriatambién se detallan los anexos que deben complementareste documento, tales como reglamento, resoluciones oconvenios, entre otros.

Presentación por carrera (PC)

Se detalla la información propia de la carrera a acreditar.Se solicitan datos sobre los siguientes puntos en los ins-tructivos:

• Punto 0: Datos generales de la carrera o del proyectode carrera.


• Punto 1: Fundamentación y evaluaciones previas dela carrera.

• Punto 2: Dirección, comité académico y funciona-miento de la carrera.

• Punto 3: Plan de estudios.• Punto 4: Cuerpo académico.• Punto 5: Actividades científico-tecnológicas que se

realizan en el ámbito institucional en que se desarro-lla la carrera y que tienen relación con su temática.

• Punto 6: Actividades de transferencia, consultoría,asistencia técnica y otras afines, que se realizan en elámbito institucional en que se desarrolla la carrera yque tienen relación con su temática.

• Punto 7: Alumnos y graduados.• Punto 8: Infraestructura y equipamiento.• Punto 9: Planes de mejoramiento derivados de la

autoevaluación.

En la Nota Técnica se detalla que los instructivosde esta sección también deben estar acompañados pordeterminados anexos, a los cuales no se les puede cam-biar la numeración (incluso cuando no se presente algunode ellos). Estos anexos incluyen normativa, evaluacionesanteriores, designaciones, planes de actividades, notas deconformidad de los docentes, certificaciones de seguridade higiene, etc.

Fichas electrónicas

• Ficha docente.• Ficha de actividades curriculares.• Ficha de investigación.• Ficha de transferencia.• Ficha de tesis, trabajo, proyecto, obra.


Muchos de los instructivos de la PI y PC toman infor-mación de estas fichas electrónicas, que contienen infor-mación detallada sobre determinados temas. Estas fichasson luego utilizadas en los instructivos para armar esta-dísticas.

Guía de Autoevaluación

Es un documento que incluye los cambios que se hubieranproducido desde la acreditación anterior y la identificaciónde fortalezas y debilidades de la situación actual, conside-rando los lineamientos establecidos en la RM 160/11. Asi-mismo, también se solicitan proyecciones y planificaciónpara subsanar las debilidades o para mejorar la situaciónactual. En la Guía de Autoevaluación se establece que losplanes de mejora deben consignarse en el punto 9 de la PC.La Guía de Autoevaluación está dividida en dos partes. Laprimera parte solicita información sobre fortalezas y debi-lidades detectadas por la evaluación anterior, recomenda-ciones que se habían formulado y cambios realizados, yfortalezas y debilidades del funcionamiento actual. Y en lasegunda parte se consulta sobre los planes de mejora enconsideración con las fortalezas y debilidades identifica-das en la primera parte.

Habiendo analizado las diversas etapas por las quese desarrolló la política pública de acreditación en Argen-tina, como así también la naturaleza y procedimientosdel órgano responsable de dicha tarea, la investigación seenfocó en la etapa de autoevaluación de la implementa-ción de la acreditación de posgrados, tal como se indicaen los recuadros sombreados en gris en la figura 2. En elmarco de esta etapa, se indagaron las posibles amenazas ala validez y confiabilidad de la medición de la calidad quepodrían estar amenazando el cumplimiento de los objeti-vos de esta política pública.


En los próximos capítulos se desarrollará un marcoteórico sobre evaluación, medición y calidad que sustenta-rá el análisis posterior de los instrumentos de medición.

Figura 2: Enfoque de la investigación de acuerdo al esquema de fasesde la política pública de acreditación

Fuente: Elaboración propia.


http://www.teseopress.com/aseguramientodelacalidad/wp-content/uploads/sites/608/2019/01/Esquema-pol%C3%ADticas-p%C3%BAblicas_tipogrande.jpg

6

La medición de la calidad en la educación superior

6.1. Teoría de la evaluación

Las políticas de aseguramiento de la calidad educativaexpresan la necesidad de evaluar un determinado sistemaeducativo o programa académico. En este sentido, todaevaluación en sí misma encierra una idea de control ocomparación respecto a objetivos inicialmente planifica-dos, y la conclusión a la que se arriba parte de una inves-tigación sobre los sujetos e instituciones evaluados. En lossiguientes apartados se analiza la naturaleza de la evalua-ción como así también de la acreditación como un tipoespecífico de evaluación.

Sobre el concepto de evaluación

Lafourcale define evaluación como “la determinación delgrado de discrepancia entre una norma o pauta estableciday el producto parcial o terminal obtenido” (citado en PerezLindo 1993: 77). En esta línea, House (2000) afirma que laevaluación es en esencia un instrumento de comparación,por lo que son necesarias un conjunto de normas y crite-rios con los cuales comparar el objeto evaluado. Haciendoreferencia a Taylor, House continúa aseverando que esasnormas de selección deben ser no solo seleccionadas, sinotambién definidas para poder llegar luego a una decisión

89

sobre el grado de cumplimiento. No obstante, existe unprincipio dialéctico entre estas normas abstractas y el casoconcreto a evaluar, no se trata de una simple deducción.

Por otro lado, el término “evaluación” se relacionaademás con diversas vertientes de acuerdo a la función quese priorice. En todos los casos se parte de un concepto deevaluación que incluye la recolección de datos útiles parala toma de decisiones. Ahora bien, esta tarea puede estardirigida a la rendición de cuentas o a la mejora del objetoevaluado. El primer objetivo tiene un carácter sumativomás orientado a la supervisión del sujeto a evaluar, ya seala institución o el alumno. En este sentido, se enfatiza “lavaloración de los logros o las carencias” del evaluado con elobjetivo de proveer información sobre su situación (TianaFerrer, 1997: 11). Por otro lado, el carácter formativo estádirigido hacia el interior del evaluado, identificando debili-dades y posibilidades de mejora con el objetivo de confec-cionar planes de acción (Tiana Ferrer, 1997). A pesar de ladiferencia en los enfoques, ambos usos están íntimamenteligados y se pueden dar en una misma práctica evaluativaen proporciones diversas.

Además, más allá del carácter sumativo o formativo,hay modelos básicos de evaluación que se pueden agruparen enfoques. Estos mismos no implican un compromisocon uno de ellos, sino que según el fin de la evaluación ylas cualidades del objeto a evaluar, se seleccionará uno uotro. Es decir, la selección de un enfoque no establece eldescarte del resto de ellos. De acuerdo a House (2000), sepueden identificar ocho enfoques generales:

1. Enfoque del análisis de los sistemas: Agrupa a las eva-luaciones que analizan la correlación entre las pun-tuaciones de los tests con la normativa. Es decir, seestudian cuantitativamente (a través de estadísticas),


los resultados en comparación con lo que estaba pla-nificado. En este sentido, a través de este modelo elevaluador se pregunta si se han alcanzado los resulta-dos previstos de la forma más eficiente. Los juicios alos cuales se llega a través de este tipo de evaluaciónno deberían variar de acuerdo al evaluador.

2. Enfoque de objetivos conductuales: Este modelo deevaluación analiza el éxito del programa de acuer-do al alcance respecto a los objetivos preestablecidospara el programa. La norma entonces es equivalentea las metas, las cuales están formuladas en funciónde conductas del evaluado. Su principal preocupaciónse centra en la productividad, por lo que los objetivosdeben estar formulados en términos mensurables.

3. Enfoque de decisión: Este enfoque establece que lamáxima autoridad de una institución debe estructurarla evaluación de acuerdo a las decisiones que hayaque tomar. Según Stufflebeam, “la evaluación es elproceso de delimitar, obtener y proporcionar informa-ción útil para juzgar posibles decisiones alternativas”(citado en House, 2000: 30). Por lo tanto, es de vitalimportancia identificar quiénes son los responsablesde la toma de decisiones y los usuarios a los cualesestá dirigida, para luego seleccionar el tipo de infor-mación más útil de acuerdo a las decisiones necesa-rias. Este tipo de evaluaciones se dirigen a procesosde control de calidad.

4. Enfoque que prescinde de los objetivos: Al contrariodel segundo enfoque mencionado, en este modelolos evaluadores desechan los objetivos preestableci-dos para evitar sesgos en el proceso de medición. Porlo tanto, el evaluador tiene una mirada más amplia,buscando todos los resultados posibles, incluso aque-llos que pueden convertirse en negativos.


5. Enfoque del estilo de la crítica del arte: La crítica dearte no se trata de una valoración negativa, sino dela apreciación objetiva de las cualidades de un objetoa evaluar. La función del experto es entonces la dereconocer y apreciar una obra sin necesidad de llegara un juicio, y se entiende por “apreciación” conoceralgo con mayor profundidad.

6. Enfoque de revisión profesional (acreditación): Esteenfoque consiste en un tipo de evaluación en la cuallos profesionales participan de la misma juzgando eltrabajo de colegas. Su función principal es dar fe de lacalidad de instituciones o programas. Los propios eva-luados también pueden participar de la evaluación,además de una comisión externa. A pesar que los pro-cedimientos pueden ser distintos, las acreditacionescomparten el objetivo de finalizar con una valoraciónglobal de la institución o programa, por lo que el prin-cipal producto es la aceptación profesional.

7. Enfoque cuasijudicial: Consiste en la simulación deun juicio para evaluar a una persona o programa.Se seleccionan testigos para que presenten pruebasy declaren ante un tribunal que tiene autoridad paratomar una decisión al respecto. Estas evaluacionesindagan entonces sobre los argumentos a favor y encontra del programa.

8. Enfoque de estudio de casos (negociación): En estaevaluación se utilizan procedimientos como entrevis-tas y observaciones in situ. Es una evaluación en sumayor parte cualitativa en su metodología y presen-tación, y su principal objetivo se dirige a compren-der una determinada situación, más que a explicarla.En comparación con el enfoque crítico, el estudio de


casos se basa en las percepciones del evaluador y delos otros, en cambio el primero solo se funda en laexperiencia del experto.

Al mismo tiempo hay que considerar que la evalua-ción tiene un carácter político, dado que “supone la exis-tencia de acuerdos comunes: juicios previos consensua-dos, sobre lo que es bueno o conveniente para todos comopropósito de las acciones educativas” (de la Garza Vizca-ya, 2004: 808). Por lo dicho, se convierte en un elementoconstruido subjetivamente y, por consiguiente, pasible dedisenso al momento de decidir su objetivo y modo de uso.En este sentido, la evaluación tiene carácter político por-que se trata de una actividad humana social, pero tambiéntiene carácter ideológico porque no se trata simplementede un “proceso técnico, neutral e inocuo”, sino que en sucualidad instrumental, “obedece a una lógica de control”(de la Garza Vizcaya, 2004: 808).

La evaluación de la calidad que aplica la CONEAUha sido resultado de la interacción de factores políticos,sociales y económicos, dentro de un contexto determina-do que lleva a los diferentes grupos de interés a revisar larelación entre Estado, instituciones de educación superiory la sociedad civil. Se encontró entonces en los procesosde evaluación institucional y acreditación de carreras lamanera de regular a las instituciones de educación supe-rior para asegurar que fueran a dirigir sus esfuerzos a lamejora de la calidad en la formación que ellas proporcio-nan. Por lo tanto, la evaluación que realiza la CONEAUtiene un carácter indudablemente político, pero sostenidocon métodos técnicos objetivamente definidos, propios delas evaluaciones de programas.


La evaluación de programas

Dado que existen diversos tipos de evaluación, cada unatiene sus especificidades y procedimientos propios. La eva-luación de programas es una categoría concreta que serefiere al análisis del “conjunto especificado de accioneshumanas y recursos materiales diseñados e implantadosorganizativamente en una determinada realidad social,con el propósito de resolver algún problema que atañe aun conjunto de personas” (Fernández Ballesteros, 1995,citado en González Ramírez, 2000: 89). Por lo tanto, dadala complejidad del universo que abarca un programa (yasea en cuanto a su extensión temporal, geográfica o insti-tucional, actividades que incluye, o tópicos sobre los queversa), la evaluación puede incluir personas, institucionesy materiales. Es importante entonces que la evaluacióncapte la esencia del programa al desarrollar sus múltiplesdimensiones: su significado y propósitos, su estructura yprocedimientos, los individuos involucrados y funcionesque cumplen, recursos de los que dispone, entre otros.

Por otro lado, este tipo de evaluación debe ser lo sufi-cientemente flexible, dado que es la evaluación la que sedebe adaptar a las cualidades de un programa en un deter-minado contexto, y no al revés. Además, toda evaluaciónde programas deberá considerar que la realidad en la quese desenvuelve es dinámica, por lo que se vuelve necesariouna revisión periódica de lo planificado y de las estrate-gias adoptadas para evaluar (Gobantes Ollero, 2000, citadoen González Ramírez, 2000). Asimismo, una evaluación deprograma debería contar con una serie de aspectos relacio-nados al contexto para que se pueda consolidar con éxito:contar con la voluntad del personal involucrado en la apli-cación del programa; respetar la autonomía y democraciadel mismo; cuidar que la evaluación tenga en cuenta ladisposición y los tiempos del personal asignado, el cual


tiene a cargo múltiples tareas; y tomar en consideración lasevaluaciones preexistentes (Gobantes Ollero, 2000, citadoen González Ramírez, 2000).

La acreditación

Según The International Encyclopedia of Higher Education,“la acreditación es el proceso mediante el cual una agenciao asociación legalmente responsable otorga reconoci-miento público a una escuela, instituto, colegio, universi-dad o programa especializado que alcanza ciertos estánda-res educativos y calificaciones previamente establecidas”(Marquina, 2012: 62). Además, es un proceso de evaluacióncontinuo que se repite cada determinada cantidad de añoscon el objetivo de que exista un perfeccionamiento cons-tante y que la sociedad en general vaya otorgando mayorconfianza y validez a esta certificación.

Marquina describe los objetivos que impulsan a losEstados a desarrollar sistemas de acreditación y a las uni-versidades a someterse a este tipo específico de evalua-ción. En primer lugar, afirma que la acreditación ofrecemayor certeza al ser una evaluación externa. Asimismo,se brinda seguridad de que la institución o programa haalcanzado las expectativas generales en los campos cientí-ficos y profesionales, y facilita también la identificación deaquellas instituciones que voluntariamente se comprome-ten a mejorar la calidad. Además, la acreditación permiteverificar si las universidades están incorporando nuevosconocimientos y prácticas profesionales necesarios para eldesarrollo personal y del país o región.

En el caso de CONEAU, Pugliese (2001) explica que laacreditación es más un control a partir de normas prees-tablecidas, por lo que es un tipo de evaluación diferen-te al de la evaluación institucional que realiza la mismainstitución. En la evaluación institucional, el concepto de


calidad se define a partir de las características propias delas universidades, “por lo que está expresando la existenciade diferentes conceptos de calidad en el mismo ámbitode la educación superior” (Vizcarra, 2011: 292). En cam-bio, en las acreditaciones, un organismo define estánda-res mínimos que se deben alcanzar. Tanto la acreditaciónde carreras como la evaluación institucional tienen comoobjetivo el mejoramiento de la calidad. Pero en el primercaso se trata de un procedimiento más estricto en el cualse verifica la adecuación a ciertas pautas generales. Por lotanto, la claridad en los estándares mínimos es un elemen-to fundamental para demostrar la transparencia del pro-ceso de acreditación, asegurando a la comunidad acadé-mica y al público en general que los parámetros no fuerondecisión de actores externos a la universidad, sino frutode discusiones y deliberaciones en el marco de un ámbitoen el cual todos los sujetos involucrados están represen-tados (Pugliese, 2001). Marquis y Sigal (1993) afirman quees imposible diseñar evaluaciones de programas si no seconsidera la participación de los actores involucrados enel proceso. La acreditación no escapa a la naturaleza polí-tica de toda evaluación. Es decir, se trata de una construc-ción subjetiva pero basada en estándares preestablecidos.En este caso concreto, los criterios para la acreditación delos posgrados que realiza la CONEAU fueron producto deldictamen del Consejo de Universidades. El artículo 46° dela Ley de Educación Superior establece que las acredita-ciones se llevarán a cabo “conforme a los estándares queestablezca el Ministerio de Cultura y Educación en consul-ta con el Consejo de Universidades”. La CONEAU no creaentonces los estándares, sino que los implementa y verificaa través de determinados instrumentos de medición.


6.2. Teoría de la medición

Stevens define la medición en términos amplios como laasignación de “numerales a objetos o acontecimientos deacuerdo con ciertas reglas” (1951, en Wainerman, 1976:17). En este sentido, toda evaluación es una medición queestudia las dimensiones de ciertos fenómenos según esca-las predefinidas. Para ello todo acto de medición debe con-siderar no solo la construcción de los instrumentos utili-zados, sino también su aplicación. Por lo tanto, los instru-mentos creados para recolectar información deben anali-zarse en su calidad de dispositivos de medición, y tambiénen la forma en la que se lleva a cabo dicha medición. Esdecir, una vez que se identificó el qué se quiere medir, sedeben además tomar las decisiones sobre el cómo: los pro-cedimientos o técnicas de recolección de información y lasnormas para la utilización del instrumento. No obstante,en toda medición existen variaciones en la puntuación enlos instrumentos dado que la medida “siempre tiene lugaren una situación más o menos compleja en la que innume-rables factores pueden afectar a las características objetivode medición y al proceso de medida” (Selltiz, 1965: 174).Por lo tanto, los análisis de validez y confiabilidad de losprocesos de medición pretenden identificar qué factorespueden estar influenciando los datos considerados paraexplicar una determinada realidad social. En los siguientesapartados se estudiará el proceso de medición y se pro-fundizará en los conceptos de validez y confiabilidad queguiarán el análisis de los instrumentos de evaluación utili-zados por la CONEAU.


Los elementos de todo proceso de medición

Todo proceso de medición incluye una serie de elementoscentrales que se dan en una sucesión gradual, cuyo ordenes importante respetar para asegurar la validez y confiabi-lidad de la medición integral (Ravela, 2006b): 1) elecciónde la porción de la realidad que se medirá y la construc-ción conceptual de la variable a medir; 2) definición deobjetivos de la medición; 3) construcción de instrumen-tos de medición y producción de evidencia empírica, esdecir, la construcción de los datos a partir de la informa-ción recolectada; 4) generación de juicios de valor sobre larealidad observada; y 5) toma de decisiones de acuerdo alos objetivos propuestos.

De acuerdo a este esquema, el primer paso en todoproceso de evaluación es construir el referente, el cualdebe ser consistente con los objetivos de los evaluadores.La naturaleza del proceso de medición consiste entoncesen la acción de contrastar la evidencia empírica con el refe-rente. En este sentido, Ravela (2006b) explica que uno delos errores más comunes de toda evaluación es suponerque el referente está inequívocamente predefinido y, porende, la evaluación se limita a construir instrumentos pararecoger evidencia empírica. Esta realidad es una construc-ción subjetiva que contiene una connotación valorativa, yaque se posiciona como el ideal a alcanzar. La comprensióndel referente es el primer elemento que facilitará la cons-trucción de instrumentos, el entrenamiento de evaluadosy evaluadores, y proveerá mayor objetividad a todo el pro-ceso de medición.

El tercer elemento solo se puede desarrollar una vezque se hayan definido clara y consistentemente el referentey los propósitos. De otra forma, no tiene sentido construirinstrumentos de medición si no se sabe qué y para quése medirá. Una vez definidas estas cuestiones, el problema


central del tercer elemento se encuentra en reconocer queel acceso a la realidad que se quiere estudiar es media-do, no existe un contacto directo. La evidencia empíricahace referencia a las aproximaciones parciales a la reali-dad que nos proveen información sobre algún aspecto quenos interesa conocer a través de la aplicación de instru-mentos de medición. Ravela define a los instrumentos deuna evaluación como “todos aquellos dispositivos cons-truidos para recoger evidencia empírica en forma sistemá-tica sobre los aspectos relevantes de la realidad a evaluar”(2006b: 5). Es decir, los instrumentos son las herramientascon la que cuentan los evaluadores para conocer una reali-dad, son generadores de datos.

El proceso de medición

En toda medición se da una progresión de etapas que creaun orden conceptual y que va desde la definición nomi-nal y real de aquello que se medirá, para luego definir lavariable operacionalmente y aplicarla efectivamente en elmundo real. La definición nominal se refiere a aquella quese asigna a un término, por lo que centra la observación,pero aún no nos explica cómo observar. Una definiciónnominal de calidad que estableciera CONEAU proporcio-naría un determinado enfoque a este concepto multívoco,pero aún no dice a los evaluadores o evaluados cómo selo habrá de observar. Estas guías las proporciona la defi-nición operacional, que es una definición que detalla conprecisión cómo se observará un concepto.

En la misma línea, Padua describe etapas progresi-vas para la medición, comenzando por la imagen inicialque los evaluadores establecen de una variable, que es unatributo o propiedad de una unidad de análisis, suscepti-ble de asumir diversos valores. Korn define variable a “unaspecto discernible de un objeto de estudio” (1973: 9). Y se


denomina “dato” al valor que toma la unidad de análisisen la variable. La imagen inicial es una idea más o menosvaga del concepto original, la cual luego se descomponeen dimensiones. Cada una de estas dimensiones se descri-be a partir de indicadores. En la interpretación final de laevaluación es necesario recomponer el concepto originala través de la información recabada en los indicadores: sevuelven a unir las partes para analizar una situación encomparación con la imagen inicial que se tenía. Entre laconstrucción de la imagen inicial de la variable (primeraetapa) y la reconstrucción de la imagen final para ser com-parada (última etapa) se da un ida y vuelta con la realidad.

Korn (1973) resume este proceso en tres pasos de defi-nición de la variable: primero es necesario una definiciónnominal de la variable; en segundo lugar se requiere unadefinición real que incluye la enumeración de dimensio-nes y por último una definición operacional en la que seseleccionan los indicadores que medirán la variable en larealidad. La variable entonces debe estar definida concep-tualmente tanto de forma nominal como real, y relacio-narse con el cuerpo teórico en el que está contenida. Lafigura 3 representa un esquema del orden conceptual deuna variable.


Figura 3. Descomposición de una variable

Fuente: Elaboración propia a partir de Korn (1973).

Mayntz, Holm y Hubner (1996) asumen que todosaber sobre la sociedad se basa en datos sobre diferentesdimensiones de análisis que se atribuye a una determina-da situación social. Una dimensión es el nombre técnicoque se le atribuye a un aspecto discernible de una variable(Korn, 1973). Ahora bien, los datos se obtienen a partir deobservaciones y del análisis del comportamiento humano,y todos aquellos aspectos que son parte de un fenómenosocial, de manera “conceptualmente estructurada, guiadaspor premisas teóricas, sistemáticas y controladas” (Mayntzet al., 1996: 45). Pero estas observaciones solo se convier-ten en datos cuando el registro se identifica con las dimen-siones atributivas del objeto de estudio y es relevante parala respuesta al problema de investigación (Mayntz et al.,1996). Por lo tanto, hay que conocer el objeto de estudio ysu contexto, como así también identificar cuál es el proble-ma de investigación, para asegurarnos que aquello que seestá observando podrá ser considerado un dato.


En síntesis, a través de instrumentos de medición serecolectan datos de acuerdo a determinadas reglas quepermiten contrastar un escenario específico con la imageninicial de la variable. En el caso de la acreditación querealiza la CONEAU, la variable es calidad y los valores sonacredita o no acredita.

La definición de estándares

Toda evaluación en esencia es una medición y una com-paración. Y todo análisis que deriva de la recolecciónde datos requiere de estándares o puntos de referenciaque puedan indicar si hubo una mejora o deterioro deuna determinada situación. Cassasus define a un estándarcomo un constructo teórico elaborado por una autoridadque cuente con el conocimiento y apoyo necesario paraello. Es decir, se trata de información sistematizada y dis-ponible para promover acciones en un ámbito determina-do: “La vinculación con la acción significa que los estánda-res se construyen para generar acciones que conduzcan ala implementación de tareas para alcanzarlos” (Cassasus,1997: 2). Sin embargo, es una condición sine qua non quelos usuarios o evaluados tengan confianza en el estándar,porque solo así mejorará la eficacia del accionar. Esta con-fianza se alcanza solo en los casos en los cuales los están-dares son públicamente conocidos, accesibles a todos losinteresados en la evaluación, delimitan responsabilidadesconcretas y pasan por procedimientos periódicos de rendi-ción de cuentas (Cassasus, 1997).

Por último, es necesario considerar en toda evalua-ción que los estándares no son construcciones únicas yválidas, dado que en última instancia son elaborados poractores sociales con sus propios marcos de referencia.Por lo tanto, para una misma situación se pueden definirestándares diferentes (Cassasus, 1997). De aquí la necesi-


dad de que el conjunto de ellos cuente con el consenso dela comunidad interesada. Por otro lado, también se requie-re evaluar con prudencia el peso relativo de cada estándardentro del conjunto. Tanto evaluados como evaluadoresdeben acordar precedencias entre los estándares para lassituaciones concretas (de la Garza Vizcaya, 2004).

La validez y confiabilidad de la medición

Toda política pública de evaluación necesita un sistemade indicadores que puedan mostrar si un determinadofenómeno evaluado cumple con los requisitos de calidadesperados. Si en este proceso de recolección de datos ycomparación se encuentran fallas, estas viciarán la tomade decisiones derivada del análisis de la información. Estoserrores se pueden explicar por falta de validez y confia-bilidad en los instrumentos de medición o en la manerade aplicarlos.

Según Wainerman (1976) la validez nos brinda infor-mación acerca de si se está midiendo aquello que se desea.Coincide con Mayntz et al., para quienes la pregunta por lavalidez de un instrumento “se refiere a si mide de hecho loque el investigador quiere medir con su ayuda” (1969: 86).Un instrumento de medición es válido cuando evalúa loque se pretende evaluar con él. Es decir, cuando los indica-dores describen el concepto teórico que se está midiendo.Por lo tanto, la validez depende de los propósitos del suje-to que evalúa, quien previamente define una definiciónconceptual. Los instrumentos de medición no son válidosde manera absoluta porque se trata de una relación entrelos objetivos del evaluador y la forma de aplicación en laconstrucción del instrumento.

La validez de conceptos se refiere al análisis de unconjunto de instrumentos de medición que reflejan unconcepto particular, pero que puede ser definido de dife-


rentes maneras (Cronbach y Meehl, 1966, en Wainerman,1976). En el caso del estudio de esta investigación, el con-cepto particular es la calidad de un programa de posgrado,el cual se evalúa de acuerdo a determinados estándares.Ahora bien, desde el punto de vista científico, “dilucidarlo que algo es significa establecer las leyes dentro de lascuales aquello ocurre” (Cronbach y Meehl, 1966, en Wai-nerman, 1976: 175). Los autores designan una red nomo-lógica a este sistema de leyes interconectadas. En este sen-tido, las distintas dimensiones que evalúa la CONEAU enla acreditación de posgrados como así también la defini-ción de estándares para dichas dimensiones constituyenla red nomológica del concepto de calidad académica. Elperfeccionamiento de la red nomológica permite entoncesconocer con mayor profundidad el concepto teórico. Sinembargo, hay que tener en cuenta que “a menos que lasdiversas personas que usan el concepto acepten práctica-mente la misma red nomológica, es imposible su compa-ración amplia, pública” (Cronbach y Meehl, 1966, en Wai-nerman, 1976: 178). La validez de concepto es en últimainstancia la adecuación entre la evidencia empírica y elreferente definido para la evaluación, y es el uso conven-cional que se le da a este término.

Ravela (2006c) identifica amenazas a la medición entres tipos de validez. En el caso de la “validez del construc-to”, se refiere a la situación en la que la prueba no evalúalo que se supone que debería evaluar. Se da entonces unproblema de consistencia entre el instrumento emplea-do y el referente de la evaluación. La “validez de con-tenido” se refiere a la situación en la que la prueba nocubre de forma adecuada la amplitud del referente. Pickde Weiss (1994) agrega respecto a este tipo de validez queen ciencias sociales, particularmente, siempre medimosefectos latentes, por lo que para determinar la validez de


contenido es necesario primero plantear exactamente loshechos manifiestos que queremos medir y luego todas lasformas bajo las cuales se puede presentar en una realidad.Por último, la “validez predictiva” se refiere a la situaciónen la que el dispositivo de evaluación no es adecuado parapredecir futuras acciones resultantes de la evaluación. Porejemplo, los instrumentos de medición arrojan datos queacreditarían un programa, pero, sin embargo, en un futuroese programa demuestra no tener la calidad requerida.

Por otro lado, Wainerman (1976) en la obra Escalas demedición en Ciencias Sociales dice que la “confiabilidad” esuna condición necesaria pero no suficiente de una medi-ción. Su análisis proporciona a los interesados informa-ción sobre la precisión de la medición. Thorndike (1951, enWainerman 1976) denomina “no confiabilidad” al hecho oposibilidad que mediciones repetidas de un mismo factor,en un mismo objeto de estudio, no dupliquen los resulta-dos. Es decir, la confiabilidad del instrumento se refiere ala exactitud de la medición, a la estabilidad y a la sensibi-lidad para la identificación de diferentes magnitudes. Porlo que una medida es confiable si algo se está midiendocon precisión o en forma consistente (Kerlinger, 2002). Ypara decidir si un instrumento de medición es confiablees necesario que se pregunte qué debe detectar el instru-mento, y si existen otros motivos que estén influyendo enla medición (Selltiz, 1965).

La estabilidad y la equivalencia son conceptos inclui-dos en el de confiabilidad. El primero se determina segúnel grado de consistencia entre las medidas luego de repeti-das aplicaciones, aislando los cambios de factores externosque pueden influir de manera colateral (Selltiz, 1965). Porotro lado, la equivalencia alude a la medida en que dife-rentes investigadores que aplican los mismos instrumentossobre los mismos sujetos llegan a resultados consistentes


(Selltiz, 1965). Los grados de estabilidad y equivalenciaaumentan según el grado de uniformidad de las unidadesde la población a medir. Wainerman (1976) agrega que elorigen de los factores que atentan contra la confiabilidadse puede encontrar en los sujetos evaluados, en el instru-mento de evaluación o en la aplicación del mismo. Porotro lado, Thorndike (1951, en Wainerman 1976) tambiénidentifica al azar como un factor influyente e ineludible.

En resumen, una política pública de evaluación de lacalidad requiere que se indague la presencia de amenazasa la validez y confiabilidad, con el propósito de proporcio-nar información útil y confiable para la toma de decisionessobre la calidad de las carreras universitarias. Ahora bien,¿qué se entiende por calidad?


7

Conceptualizando la calidad académica

La calidad es invocada en múltiples ocasiones con dife-rentes objetivos. A partir de la década del 80 se empezó atratar el tema de la calidad en el ámbito industrial europeo.Se comenzaron entonces a adoptar los principios y méto-dos de la Gestión de la Calidad Total con el objetivo desatisfacer al cliente y establecer procedimientos de mejoracontinua de los productos y servicios ofrecidos. GonzálezRamírez (2000) explica que una de las evidencias de estatendencia hacia la calidad fue la certificación de mecanis-mos de garantía de calidad sobre la base de normas pre-viamente establecidas.

En la década del 90 el concepto de calidad fue adqui-riendo una creciente importancia con el surgimiento delEstado Evaluador y la profundización de técnicas de audi-toría. Los procesos de gestión de la calidad comenzaron aaplicarse entonces a todo tipo de actividades en diferentesámbitos, y no solo en el ámbito industrial. Por ello mismo,la definición de calidad está en principio relacionada conel ámbito de aplicación.

Específicamente en educación superior, en la décadadel 90 comenzaron a introducirse exigencias de asegura-miento de la calidad. Muchas de las técnicas conexas aeste nuevo requerimiento se tomaron de ámbitos distintos,como las ciencias de la administración e incluso la inge-niería. La calidad en educación, no obstante, necesita serdefinida de forma específica teniendo en cuenta todas las

107

dimensiones que afectan a los procesos de generación ytransmisión del conocimiento, funciones principales de launiversidad, como así también los actores involucrados,la estructura propia de esta institución y los mecanismosde funcionamiento.

7.1. Definiendo a la calidad

Considerando los diferentes sectores que están interesadosen desarrollar una definición de calidad, cualquier políticade aseguramiento de la calidad necesita consensuar enprincipio qué se entiende por tal concepto. De hecho, serequiere una conceptualización de “calidad” si se conside-ra que este término incluye un carácter comparativo: “Paraapreciar la calidad necesitamos conocer las virtudes deuna cosa y compararla con otra” (Perez Lindo, 1993: 59).

El término calidad fue importado a la educación delmundo empresarial. En ese pasaje se debieron adaptarlos requisitos de dicha exigencia de calidad no solo a lasdemandas del mercado (como lo es para la empresa), sinotambién a las demandas sociales, a las exigencias del Esta-do, y a la misión del propio establecimiento y de la dis-ciplina científica. Por lo tanto, hay una gran variedad deenfoques sobre la calidad, definiéndola en términos de efi-ciencia, equidad, empleabilidad, excelencia, etc. Harvey yGreen (González y Espinosa, 2008) plantean cinco dimen-siones desde las cuales se puede definir la calidad. En pri-mer lugar, se puede considerar la calidad como excepción,entendiendo que una educación de calidad es aquella queofrece algo especial. Dentro de este enfoque encontramosvariantes, la calidad entonces puede ser vista como algode clase superior, enfatizando propiedades como elitismoy exclusividad; como excelencia al alcanzar un estándar


de exigencia adquirido solo en circunstancias limitadas;o incluso la calidad entendida como el cumplimiento deestándares. Una segunda dimensión entiende la calidadcomo perfección o consistencia. Esta perfección tiene queser descripta con especificaciones particulares. Se relacio-na entonces con el enfoque de “cero defectos”, en el cualla organización asume la responsabilidad de producir unproducto final de calidad. No se aceptan errores en nin-guna de las etapas del proceso, por lo cual la calidad pasaa ser además un compromiso compartido por todos losmiembros de la institución. La tercera dimensión conside-ra calidad como aptitud para el logro de una misión, porlo que se definirá según la adaptación del producto a unpropósito. En cuarto lugar, la calidad como valor agregadose refiere al grado de excelencia alcanzado a un precio ycosto aceptable. Subyace a esta concepción el deber derendir cuentas (accountability) frente a usuarios y orga-nismos financiadores. Finalmente, una quinta dimensiónentiende calidad como transformación, sugiere que la edu-cación tiene poder de producir un cambio en el estudiante,por lo que se centra en el producto.

Calidad es entonces un concepto multidimensionalpara el cual no existe una única visión o interpretación desentido. Pero, tal como sugiere Águila Cabrera, el problemano reside en buscar una nueva definición de calidad, dadoque ya hay varias desarrolladas, sino “en determinar aque-lla que más convenga a la evaluación en las condiciones dela realidad latinoamericana” (2005: 2). O, en todo caso, elproblema que realmente se plantea es conocer de maneraclara qué se entiende por calidad en las políticas de eva-luación para que se construyan instrumentos coherentescon esta concepción y que todos los sujetos involucradossepan sobre qué base se los está midiendo.


7.2. ¿Cómo se define “calidad” en el marco de la acreditaciónde posgrados?

Sentadas las bases teóricas sobre “calidad”, para realizarun primer acercamiento a las amenazas a la validez y con-fiabilidad del proceso de medición, primero es necesarioindagar la definición conceptual y operacional de la varia-ble en cuestión.

Gonzalez y Ayerza (1997) piensan que el concepto decalidad no existe como tal, por lo que su importancia estáen utilizarlo con carácter comparativo, analizando si unprograma es mejor o peor que otro respecto a un conjuntode elementos homologables, o contrastando un programacon ciertos estándares de referencia que sean descriptoscon anterioridad a la evaluación. La CONEAU asume quetodos los posgrados tienen objetivos mínimos comparti-dos, por lo que son susceptibles de comparación en tér-minos de calidad. Se establecieron entonces un conjuntode estándares y criterios que se posicionan como el marcogeneral de evaluación, permitiendo consideraciones dife-rentes según tipo de carrera o modalidades disciplinarias(CONEAU, 2002). En este sentido, la RM 160/11 afirma quese debe tener en cuenta que son estándares mínimos, porlo que su aplicación debe respetar los principios de auto-nomía y libertad de enseñanza académica y aprendizaje.

En esta misma línea, para García de Fanelli el concep-to de calidad que subyace a la acreditación de CONEAUes multidimensional, por lo que se necesita establecer quécomponentes se evaluarán y los correspondientes indica-dores. Por lo tanto, “el problema a resolver es cómo ela-borar indicadores confiables y válidos a fin de medir laexcelencia de los posgrados” (2001: 3), incluso teniendo encuenta que el concepto de calidad es en esencia subjeti-vo. En consecuencia, las herramientas metodológicas que


se apliquen no deben violentar la naturaleza del conceptoa medir. De acuerdo al artículo 46° de la Ley de Educa-ción Superior N.º 24.521, la CONEAU acredita carreras degrado y posgrado conforme a los estándares que estable-ce el Ministerio de Cultura y Educación en consulta conel Consejo de Universidades. Por ende, estos dos organis-mos definieron qué entienden por calidad en la ResoluciónMinisterial N.º 1168/97 (en adelante, RM 1168/97), paraque la CONEAU lo aplicara en su tarea de evaluación. Seestablecía también que sería conveniente que los estánda-res detallados en dicha resolución ministerial fueran revi-sados en un plazo no mayor a un año.

La revisión de la RM 1168/97 culminó catorce añosdespués con la sanción de la RM 160/11, principal docu-mento guía para entender el concepto de calidad utiliza-do en las acreditaciones de posgrados realizadas por laCONEAU. Se tomaron como principales antecedentes elAcuerdo Plenario N.º 6 y N.º 100 del Consejo de Universi-dades, en el cual se eleva una propuesta consensuada porel Consejo Interuniversitario Nacional (CIN), el Consejo deRectores de Universidades Privadas (CRUP) y la CONEAU.Por lo tanto, esta nueva resolución ministerial ha sido frutode un proceso de interacción entre diversos actores delsistema universitario argentino, los que se posicionan yasea como destinatarios (las universidades, agrupadas endiversas asociaciones como el CRUP o CIN), ejecutores (laCONEAU) o constructores de la propia política (el Ministe-rio de Educación como ente legislador). Participaron, ade-más, la Secretaría de Políticas Universitarias (SPU) y losConsejos de Planificación Regional de la Educación Supe-rior (CPRES). La participación de los diferentes sujetos queconforman el sistema evidencia la cooperación que fuenecesaria para pensar parámetros de calidad consensua-dos y adecuados a la diversidad institucional y disciplinar


de las universidades argentinas, las que tienen misionesespecíficas y diferentes vinculaciones con el entorno (Fli-guer, 2013).

En esta nueva resolución se establecen los estándaresa considerar en la acreditación de posgrados de laCONEAU, son aquellos con los que se evaluarán los pro-gramas de posgrado. Estos se refieren a las siguientesdimensiones: inserción y marco institucional de la carre-ra; plan de estudios; evaluación final; reglamento; estu-diantes; cuerpo académico; actividades de investigación ytransferencia vinculadas a la carrera; infraestructura, equi-pamiento y recursos financieros. No obstante, no todasestas dimensiones cuentan con un estándar mínimo acumplir que guíe a los evaluados o evaluadores. Comodicen Claverie et al., “resulta difícil observar una planifica-ción ex ante de lo que se entendería por calidad del sistemauniversitario argentino” (2008: 162). Es decir, las resolucio-nes sancionadas por el Ministerio de Cultura y Educaciónpresentan algunos lineamientos para la reconstrucción dela definición conceptual y operacional de calidad, pero node forma explícita.

En conclusión, los estándares descriptos en la RM160/11 son las principales guías utilizadas para describirqué entender por calidad a efectos de acreditar una carre-ra. Para ello se definen las dimensiones del concepto, y seidentifican algunos indicadores y parámetros mínimos decada dimensión. Retomando la categorización de Harveyy Green, la dimensión a la cual más se asemeja la concep-ción de calidad presente en la acreditación de CONEAUes la de valor agregado, en la que la unidad académicatiene la necesidad de rendir cuentas ante un organismooficial sobre la calidad de sus programas. Considerandolos criterios de acreditación establecidos por el Ministeriode Educación, se puede reconstruir el concepto de calidad


educativa como el desarrollo de una comunidad acadé-mica en el marco de una carrera de posgrado en dondese ofrezca a los alumnos y docentes un ámbito propiciopara la enseñanza, la investigación y la extensión, esta-bleciendo una normativa explícita y planes estratégicos demejora continua.


8

Análisis de las amenazas a la validezy confiabilidad en la etapa de autoevaluación

El acto de acreditación de carreras de posgrado que realizala CONEAU es un acto público mediante el cual este orga-nismo (identificado como autoridad legal) reconoce lacalidad de un programa académico de acuerdo a deter-minados estándares previamente establecidos. Este actopúblico de garantía requiere que el proceso mediante elcual se llegue a la decisión final no esté amenazado porfallas en la medición. Por lo tanto, para identificar estasposibles fallas se requiere una reflexión sobre qué ele-mentos se fundamentan los instrumentos de medición (esdecir, qué concepto de calidad toma como referente), quéherramientas utiliza, e, incluso, bajo qué procedimientosse aplican estos instrumentos. Es decir, este acto públicosolo cumplirá su verdadero objetivo de garantía de calidadsi el dato utilizado para llegar a la conclusión y su pos-terior análisis gozan de validez y confiabilidad. El proce-so de recolección de información para la construcción deeste dato incluye una primera etapa en la que se defina lavariable a medir y sus dimensiones, continúa una segundaetapa en la que se construye el instrumento de mediciónque se aplicará a las unidades de análisis de acuerdo a lasdimensiones previamente definidas, y finalmente se apli-carán esos instrumentos para recolectar efectivamente eldato. Esta recolección no se realiza al azar, sino que setrata de un proceso que está determinado por reglas claras

115

de medición. Este dato luego es comparado con el con-cepto inicial de la variable (los estándares) para llegar auna conclusión.

En estas etapas pueden surgir amenazas a la validezy confiabilidad, que afectarán la construcción del dato quese utilizará para garantizar la calidad de un programa. Undato con fallas en la construcción contamina la garantíade calidad que provee la acreditación y el consecuentereconocimiento social de tal acto público. Estas amenazaspueden surgir en dos órdenes distintos:

1. Orden conceptual: se trata de las amenazas surgidasante la falta de una definición conceptual y operacio-nal de la variable que incluya a todo el universo decarreras evaluadas.

2. Orden instrumental: se trata de las amenazas surgidasante errores técnicos en la construcción y aplicaciónde los instrumentos de medición.

A continuación, se desarrollarán estos dos órdenes deamenazas a la validez y confiabilidad de acuerdo al aná-lisis documental de los instrumentos de medición de laetapa de autoevaluación en la acreditación de posgrados,y a entrevistas realizadas a profesionales pertenecientes ainstituciones de educación superior que participaron deprocesos de acreditación.

8.1. Amenazas a la validez y confiabilidad de la medición en el ordenconceptual

Una evaluación goza de validez cuando hay una consisten-cia entre aquello que mide y el concepto que se está inves-tigando. Es decir, cuando los instrumentos miden aquello


que hay que medir. No obstante, para ello es necesarioque el referente, en este caso la “calidad educativa”, estéclaramente definido, dado que los instrumentos se basanen su construcción y aplicación en las definiciones con-ceptual y operacional de la variable. Consecuentemente, laclaridad de la definición operacional se dificulta si no estábasada en una definición conceptual explícita. La falta deun referente claramente definido es la primera y principalamenaza a la validez del proceso de acreditación, dado queel orden conceptual de toda medición considera que laoperacionalización es una traducción de la idea inicial. Lafigura 4 muestra que la idea original de una variable mul-tidimensional debe ser traducida a través de indicadores yestándares claros que permitan reconocer su presencia oausencia en el objeto evaluado.

Figura 4. Esquema de traducción del referente


En el caso del proceso de acreditación de CONEAU,el Ministerio de Educación sancionó una resolución en lacual se caracterizan los estándares generales. Pero no se hahallado una clara definición conceptual previa a los están-dares de la variable calidad. Sin una definición conceptualexplícita, en vez de darse una traducción, el evaluado y


evaluador deben recorrer el camino inverso, reconstruyen-do la idea original de calidad académica a partir de lasdimensiones e indicadores que tienen como dato. La figura5 sintetiza el camino inverso que se realiza para entenderel concepto de calidad, al no tener en principio un refe-rente definido.

Figura 5. Esquema de reconstrucción de la idea original


En este sentido, la primera amenaza a la validez detodo proceso se origina porque cada sujeto puede elaboraruna reconstrucción distinta de la idea original, dado queentran en juego en su interpretación sus propios modelosmentales y experiencias. Por lo tanto, se mirará una mismarealidad, pero desde posibles enfoques distintos.

El referente de calidad que toma la CONEAU se puedereconstruir a partir de los lineamientos contenidos en laRM 160/11. Las guías contenidas en este documento legalse pueden caracterizar como un intento de conceptuali-zación y operacionalización de la variable calidad, dadoque indican qué aspectos se tomarán en cuenta y quéestándares generales mínimos caracterizan cada uno dedichos aspectos. Algunos estándares son exactos, como la


cantidad de horas mínimas a completar en doctorados,maestrías y especializaciones; la titulación mínima reque-rida para el cuerpo académico, o la proporción mínimade docentes con trayectoria institucional. En cambio, otrosestándares son más amplios y cuentan con pocas especifi-caciones, como la correspondencia entre los requisitos deadmisión y el campo de estudio que abarca la carrera. Ade-más, la Guía de Autoevaluación completa con comentarioslos detalles sobre estos estándares mínimos. Por ejemplo,respecto al trayecto estructurado del plan de estudio, laRM 160/11 no da muchos detalles sobre lo que se esperaen tal caso, pero la Guía de Autoevaluación explicita quedebe existir suficiencia y actualización de los contenidos yla bibliografía de las asignaturas, y también corresponden-cia entre la evaluación de las actividades curriculares y eltipo y objetivo de las mismas. Estos estándares ayudan alos evaluados en la comprensión de los parámetros de cali-dad que espera la CONEAU, dado que son públicamenteconocidos y todos los interesados (evaluados y evaluado-res) tienen acceso a ellos. No obstante, hay dimensionessobre las que no hay guía alguna, tal es el caso de lo quese espera sobre los requisitos de permanencia, promocióny graduación; el régimen y porcentaje máximo de equiva-lencias admitidas; las características de los cursos u otrasactividades académicas de nivelación; la sustentabilidadacadémica de la carrera respecto a la dimensión de infraes-tructura, equipamiento y recursos financieros; o la funda-mentación del modelo educativo en el caso de educacióna distancia; entre otros.

Muchas de estas amenazas, como la falta de unadefinición conceptual de la variable o la falta de preci-sión en la definición operacional en los estándares, yaestaban presentes en la primera RM 1168/97. Durante losaños transcurridos bajo la vigencia de esta resolución, los


actores involucrados fueron identificando estas dificulta-des y debatiendo la necesidad de superarlas en una pró-xima resolución ministerial. En este sentido, se puedenidentificar algunas innovaciones introducidas en la nue-va resolución de 2011 respecto al documento de 1997, yque han ayudado a delimitar con más precisión el términocalidad. Uno de los principales cambios se da en la dis-tinción entre maestrías académicas y profesionales. Estainnovación fue necesaria considerarla al analizar los cam-bios que se estaban dando dentro del sistema de posgra-dos en Argentina desde 1997. Fliguer (2013) explica quese ha dado una tendencia a la disminución de posgradosde investigación (principalmente doctorados), acompaña-da de un giro profesional de la oferta que se tradujo en elincremento de las especializaciones y maestrías destina-das a formar profesionales que trabajan fuera del sistemauniversitario.

Otra de las novedades de la RM 160/11 es la inclusiónde dimensiones e indicadores para las carreras dictadas adistancia. La RM 1168/97 tenía un alcance limitado soloa carreras presenciales, tal como se especifica en el textolegal: “Se deja constancia que las pautas fijadas preceden-temente refieren exclusivamente a la modalidad presen-cial, difiriéndose el tratamiento de las pautas para la moda-lidad no presencial o a distancia para cuando se cuentecon la reglamentación pertinente… ”. Esta limitación fuesubsanada parcialmente hasta 2011 con legislación com-plementaria, como la Resolución Ministerial N.º 1717/04,en la cual es establecen algunas reglamentaciones paraposgrados dictados a distancia.

Así y todo, a pesar de que los debates anteriores a lasanción de la resolución se explayaron en varios temas amejorar, aún subsisten algunas lagunas que dificultan elconocimiento preciso sobre qué se entiende por calidad


en general y sobre las diferencias en los parámetros quese solicitan para carreras distintas. En un futuro cercanose deberá reflexionar sobre estas cuestiones, algunas de lascuales se mencionan a continuación:

Falta de distinción en la manera de aplicar los estándares para carrerasnuevas y para carreras en funcionamiento

La RM 160/11 diferencia entre carreras nuevas (son aque-llas que aún no han sido puestas en práctica y no cuentancon alumnos) y carreras en funcionamiento (son aquellasque estando en funcionamiento se presenten a las convo-catorias que realiza la CONEAU). Las carreras en funciona-miento pueden contar o no con egresados. En la RM 1168/97 se diferenciaba entre carreras en funcionamiento, ten-gan o no egresados, y en proyectos de carreras. Por lo tanto,las carreras que actualmente se denominan “nuevas” eranllamadas “proyectos” antes de la RM 160/11.

De acuerdo a la RM 160/11, los estándares se con-siderarán de forma diferenciada “según se trate de unacarrera nueva o de una carrera en funcionamiento, pri-mera acreditación o sucesivas…”. En la RM 1168/97 no sehacía mención a esta diferenciación, sino que se aclarabasolamente que los estándares debían interpretarse tenien-do en cuenta que se trataba de parámetros mínimo y quedebían “respetarse los principios de libertad de enseñanzay aprendizaje”.

A pesar de que la RM 160/11 hace una mención sobrela diferenciación de interpretación de estándares entrecarreras nuevas y en funcionamiento, los hechos muestrasque solo la propia experiencia adquirida en sucesivas acre-ditaciones por los participantes va estableciendo la dife-rencia de estándares entre estos dos tipos de carreras, perosin explicitarlas con anterioridad a la evaluación. Es decir,el estándar se termina definiendo durante o después del


proceso de acreditación en respuesta a consultas realiza-das por los evaluados, pero no se define claramente conanterioridad.

Solo en el requisito sobre titulación máxima requeridapor autoridades y cuerpo docente se hace una mención aesta diferencia. En la RM 1168/97 se establece: “En casosexcepcionales, la ausencia de estudios de posgrado podráreemplazarse con una formación equivalente demostradapor sus trayectorias como profesionales, docentes o inves-tigadores”. Esta excepcionalidad se aplicaría con diferentegrado de flexibilidad al comienzo del proceso de acredita-ción para que las universidades gradualmente vayan con-formando el cuerpo docente de acuerdo a lo requerido porel sistema. De manera similar, en la RM 160/11 se mencio-na, por un lado, que “excepcionalmente, cuando se tratarade posgrados referidos a áreas sin tradición académica deposgraduación, se permitirá un director con menos ante-cedentes de titulación, caso en el cual el currículum vitaedel nombrado ameritaría la excepcionalidad”. Y, por otrolado, también se especifica que el cuerpo docente debeposeer un título equivalente al ofrecido por la carrera “o,si el caso lo amerite, una formación equivalente demos-trada por sus trayectorias como profesionales, docenteso investigadores (de acuerdo a las características de lascarreras)”. No obstante, a pesar de que se hace referencia aesta excepcionalidad, los entrevistados mencionan el cum-plimiento de este requisito como una dificultad cuando setrata de carreras pertenecientes a disciplinas con una tra-yectoria más práctica. El Entrevistado N.º 1 reconoce queuno de los problemas más importantes con los que él seencontró al acreditar su posgrado fue que era uno de losprimeros en Argentina, y los que ya estaban en funciona-miento no tenían muchos graduados, por lo tanto no eraposible responder a la exigencia de poseer docentes con


un determinado nivel de formación en especialidades queno tienen desarrollo de posgrado. Ahora bien, dado queel estándar mínimo de la RM 160/11 además no estable-ce que esta máxima titulación deba ser en la especialidaddel posgrado, entonces el Entrevistado N.º 2 dice que unamanera de cumplir con este requisito es nombrando en loscargos directivos a profesionales con posgrados en otrasdisciplinas. Sin embargo, el problema es que los profe-sionales que realmente saben sobre la especialidad perono tienen posgrados no pueden acceder a los puestos dedirección.

En conclusión, a pesar que la RM 160/11 mencionaque se harán diferencias entre carreras nuevas y en funcio-namiento, al no estar claramente especificadas esas dife-rencias, en la práctica la excepción a ciertos estándaresmínimos no se respeta.

Falta de estándares diferenciados en diversos grados de exigencia para cadacalificación cuando hay pedido de categorización

En la RM 1168/97 no se hace ninguna referencia a los pedi-dos de categorización que pueden realizar las universida-des voluntariamente, salvo al describir la etapa de reconsi-deración: “el resultado de la reconsideración agotará la víaadministrativa y solo puede aumentar o conservar la acre-ditación y categorización obtenida previamente”. Esta es laúnica referencia que se realiza. En cambio, la RM 160/11menciona las categorías explícitamente y establece que enun futuro se especificará qué se espera de cada posgradopara alcanzar una A, B o C en caso de solicitud de catego-rización. En la realidad esos parámetros aún no han sidodefinidos, por lo que los requisitos se vuelven arbitrarios yquedan a consideración de los evaluadores. El texto legalsolo especifica que las carreras que quieran categorizacióndeberán cumplir con los criterios y estándares genéricos


que allí se describen y alcanzar los perfiles de calidad espe-cíficos que establezca el Consejo de Universidades. Estosperfiles son los que aún no han sido debatidos y decididos.

En la página web de CONEAU, y de acuerdo a la Orde-nanza 59/13, en la sección sobre los resultados posibles deacreditación de posgrados, solo se menciona que los nive-les de categorización para las carreras en funcionamientocon ciclo de dictado completo se dividen en A (son consi-deradas excelentes), B (son consideradas muy buenas) y C(son consideradas buenas). En el caso de carreras que aúnno finalizaron el ciclo completo de dictado ni cuentan conegresados, la división en categorías es la misma, solo quese agrega la identificación “n” luego de la calificación (An,Bn, Cn). Las carreras nuevas no se categorizan, pero estalimitación no figura ni la RM 160/11 ni se realiza ningunamención en la Ordenanza 56/10.

Más allá de estas especificaciones generales, no seagrega mayor información sobre los estándares máximosexactos de excelencia. Por lo tanto, al no estar explícita-mente definidas las diferencias entre categorías, el Entre-vistado N.º 1 declara que se vuelve muy arbitrario el proce-so de categorización e incluso mencionó una experienciapersonal en la que se recibió una calificación sin funda-mentación: “Nosotros tuvimos carreras que, sin ningunaobservación, obtuvieron la categoría C, sin ni siquiera tenervista. Se recusó la categoría y le dieron la B”.

Inconsistencias dentro del mismo texto legal

El propio texto del Anexo de la RM 160/11 contiene con-tradicciones y repeticiones, lo que produce problemas deinterpretación tanto para evaluados como evaluadores. Unejemplo se da en el caso del trabajo final requerido comoestándar mínimo para cada tipo de posgrado. Este temase repite en diferentes partes del Anexo de la Resolución.


En primer lugar, figura al describir los tipos de carrera enel “Título II: Caracterización general de estándares”. Allí seespecifica que los alumnos de las maestrías académicasdeberán presentar una tesis, y en las maestrías profesiona-les se detalla que “es un proyecto, un estudio de casos, unaobra, una tesis, una producción artística o trabajos simila-res que dan cuenta de una aplicación innovada o produc-ción personal…”. También en el “Título II: CaracterizaciónGeneral de estándares”, el punto 8 se explaya sobre la Eva-luación Final. En ese punto se explica que la decisión res-pecto a qué tipo de trabajo final se propone deberá tenerrelación con los objetivos y el perfil específico de la carrera.No queda claro, en el caso de maestrías profesionales, si laopción de elegir el tipo de trabajo final la tienen las carreraso los alumnos. De hecho, en ese mismo punto se especificaque “Las Carreras de Maestría de tipo Profesional culmi-nan con un trabajo final, individual y total o parcialmen-te escrito que podrá adquirir formato de proyecto, obra,estudio de casos, ensayo, informe de trabajo de campo uotras …”, es decir son varias las opciones válidas. Este puntodespierta aún más dudas cuando se completa el instructivoen el sistema, en el cual la carrera solo tiene posibilidadde elegir un solo tipo de trabajo, es decir una sola opción(como se muestra en la Figura 6). Es decir, que, aunque seadmite en el enunciado del ítem la variedad de respuestasconviviendo legítimamente, el instrumento de recolecciónde información obliga a quien lo responde a violentar larealidad informando que solo se puede elegir un solo tipode trabajo final. Además, en el instrumento de relación dedatos no se requiere justificación de la decisión, a pesar deque en la Resolución sí se la solicita como puede leerse acontinuación: “La decisión respecto a qué tipo de trabajofinal se propone, será fundamentada a partir de los objeti-vos y el perfil específico de la carrera”.


Figura 6. Captura de pantalla sobre trabajo final en la PC (punto 3.9)

Fuente: Instructivo Presentación por Carrera en el Servidor Unificado.

Falta de consideración sobre aspectos epistemológicos relacionadoscon la disciplina de cada carrera universitaria

Una de las amenazas al proceso de la medición surge antela complejidad del objeto evaluado. En este caso, los pro-gramas de posgrados son un servicio ofrecido en la institu-ción universitaria, que se caracteriza por su semejanza conuna anarquía organizada, tal la describe Clark (1983). Esdecir, en el interior de esta organización conviven diversasculturas disciplinarias que son transversales a la culturaorganizacional propia del establecimiento. Cada programade posgrado no solo se inserta en un marco institucionalgeneral de la universidad, sino que su contexto tambiénincluye la pertenencia a una determina unidad que aglo-mera una o varias disciplinas científicas. Por lo tanto, losprogramas evaluados incluyen variados métodos de ense-ñanza y aprendizaje; variadas metodologías de investiga-ción; variados grados de desarrollo en las funciones deenseñanza, investigación y extensión; y responsabilidadesvariadas para con la sociedad. Todas estas especificidadesdeberían traducirse en la aplicación de estándares diferen-


tes o con otro grado de exigencia. Por ejemplo, respecto ala trayectoria de los docentes o investigadores, en algunasdisciplinas se valora más la publicación de estudios empí-ricos en el formato de papers (especialmente en las Cien-cias Exactas, caso prototípico, Matemáticas) mientras queen otras ciencias es más valorada la publicación de libroso capítulos (como en algunas disciplinas de Humanidades,caso prototípico, Historia). Otras diferencias surgen frenteal recorrido en formación de posgrado con titulación aca-démica que tienen ciertas disciplinas (hay especialidadesrelativamente nuevas que no cuentan con trayectoria enla formación de posgrado) o frente al nivel de responsa-bilidad social que implica el reconocimiento de ese título(es decir, aquellas carreras vinculadas al artículo 43° de laLey 24.521 cuyo “ejercicio pudiera comprometer el interéspúblico poniendo en riesgo de modo directo la salud, laseguridad, los derechos, los bienes o la formación de loshabitantes”). No obstante, se reconoce en forma generalesta diferencia esencial de los programas de posgrados endos partes de la RM 160/11: por un lado, en la introduccióndel Anexo de la Resolución, se especifica que los estánda-res y criterios propuestos “deberán aplicarse en un marcoamplio y flexible que posibilite la consideración de las dife-rencias regionales, institucionales, disciplinares y profesio-nales…”; y, por otro lado, en el “Título II: Caracterizacióngeneral de estándares”, cuando afirma que los estándaresserán considerados en forma diferenciada en su amplitud“según se trate de una carrera nueva o una carrera en fun-cionamiento, primera acreditación o sucesivas y/o posgra-dos que se vinculen con carreras de grado incluidas enel artículo 43° de la Ley N.º 24.521 o no”. Pero los pará-metros e instrumentos utilizados para la medición de lacalidad son los mismos para todos los casos. Nuevamente


el instrumento de recolección de información violenta larealidad al tratarla como homogénea cuando es heterogé-nea y, al hacerlo, promueve respuestas inválidas.

El Entrevistado N.° 1 alude a esta falta de considera-ción cuando afirma que no se puede mirar con el mismonivel de exigencia a los posgrados que tienen título habili-tante, como los de Medicina, de los que solo se proponenprofundizar en conocimiento sin un inmediato impacto enla práctica. La excepción está contemplada en la RM 160/11 cuando establece que los estándares serán considera-dos de forma diferenciada en el caso de posgrados que sevinculen con las carreras de grado incluidas en el artículo43° de la Ley N.° 24.521, que son aquellas que compro-meten el interés público.6 Pero estas diferencias no estánexplicitadas.

Por otro lado, el Entrevistado N.° 4 también exponeuna dificultad que surgirá frente a la acreditación de carre-ras con orientación profesional. El caso que mencionó esel de las acreditaciones de carreras de Derecho, las cua-les están contempladas en el área de Ciencias Sociales.Estas carreras son profesionales, por lo que se requiereque tengan una fuerte formación práctica. Ahora bien, elentrevistado se pregunta cómo entenderá la CONEAU estaformación práctica, ¿se trata de carreras que contenganmetodología de estudio de casos, trabajo en el aula, roleplaying? “Todo eso es lo que CONEAU va a ir puliendo aho-ra, porque es la primera vez que le va a tocar un grupo deposgrados que pertenecen a un área que supuestamente espráctica, porque es el Derecho, pero que los mismos abo-gados no consideran que sea práctica porque es parte del

6 Esta falta de estándares disciplinares que complementen a aquellos transversa-les mencionados en la RM 160/11 no se da en la acreditación de carreras de gra-do, dado que en este caso para cada llamado a evaluación se publican los pará-metros específicos.


ejercicio jurídico”. Concluye entonces que todas estas cues-tiones se terminarán de comprender cuando la CONEAUhaga la devolución.

Ya en los debates en torno a la RM 1168/97 se identifi-có esta cuestión disciplinar como un problema para la cla-ridad de los estándares de evaluación. Sin embargo, huboun intento para subsanarla. En 2002 la CONEAU conformóComisiones Asesoras, cuya misión fue definir criterios yestándares de aplicación en áreas o subáreas disciplinaresespecíficas. Es decir, la principal tarea de estas comisio-nes fue realizar una lectura de la RM 1168/97 de acuerdoa las cualidades propias de cada disciplina y al grado dedesarrollo de sus posgrados. Se forman entonces Comisio-nes Asesoras para Ciencias de la Salud, Ciencias Sociales,Ciencias Humanas, Ciencias Básicas, Ciencias Aplicadas,Educación, Psicología y Administración. Estas comisionesgeneraron informes, pero sin seguir un mismo patrón detrabajo, por lo que algunos informes cuentan con mayornivel de detalle que otros. En general, todos los informesespecifican los perfiles de acreditación y los niveles espera-dos para cada calificación en caso de pedir categorización.Los problemas suscitados a partir de esta labor fueron, enprimer lugar, que dichos informes no contaban con carác-ter vinculante, por lo que su aplicación quedaba a consi-deración del Comité de Pares y de los técnicos. Y, por otrolado, algunas de las sugerencias realizadas por las Comi-siones Asesoras suponían la aplicación de estándares quecontradecían a la resolución ministerial vigente. Tal es elejemplo del dictamen de la Comisión Asesora en Adminis-tración, que establecía que para los casos de evaluaciónde MBA (Maestrías en Administración de Empresas) nose deberían exigir horas de investigación más allá de lasdedicadas para realizar el trabajo de tesis; en el caso demaestrías profesionales el trabajo final podría diferir del


formato tesis, aceptándose un examen integrador o trabajofinal; y no sería necesario la conformación de un juradocon miembros externos a la institución, aunque su inclu-sión podría considerarse favorable.

En resumen, a pesar de que el trabajo de las Comisio-nes Asesoras es considerado un aporte que podría aliviarla tensión originada en el no reconocimiento de las dife-rencias disciplinares y de enfoques académicos o profesio-nales, la falta de un carácter vinculante de los documentos,sumado a su escasa difusión pública y consecuentemen-te al desconocimiento de este material como soporte delas universidades, de los técnicos y de los pares evalua-dores alimentan las amenazas desde una dimensión epis-temológica.

Todas estas lagunas existentes para definir la variablecalidad atentan contra la validez y confiabilidad en elorden conceptual del proceso de acreditación, ya que danlugar a la posibilidad de diferencias en las interpretacionesque los actores hacen sobre el referente. La recolección deinformación a través de diferentes instrumentos de medi-ción se realiza entonces sin parámetros claros en algu-nas dimensiones, lo que genera una doble amenaza: quelos responsables de los programas evaluados adopten unaactitud de desconfianza en el operativo, y en consecuenciaque incluyan información al azar, sin saber exactamentecómo se la interpretará, y que los evaluadores carezcande guías para interpretar los datos y llegar a conclusionesválidas y confiables. Por lo tanto, el proceso de acredita-ción que realiza la CONEAU requiere de mayor claridad alexplicitar las bases sobre las que se analizarán los datosrecolectados.


8.2. Amenazas a la validez y confiabilidad de la medición en el ordeninstrumental

Como ya definimos, la acreditación, como toda evalua-ción, es una medición. Por lo tanto, es un proceso querequiere de reglas objetivas en su construcción y aplica-ción que garanticen la precisión de la información recolec-tada. Según Kerlinger (2002) la confiabilidad de la medi-ción se relaciona, por un lado, con la estabilidad y fiabi-lidad de los datos generados: ¿diferentes mediciones conel mismo instrumento obtendrán iguales o similares resul-tados? Y, por otro lado, también se vincula con la falta dedistorsión: ¿los datos obtenidos son medidas “verdaderas”de la propiedad sobre la que se está trabajando? En sínte-sis, “una medida altamente confiable solo indica que estámidiendo algo con precisión o de forma consistente” (Ker-linger, 2002: 583).

Teniendo en cuenta que el proceso de medición de lacalidad de los posgrados ya está amenazado conceptual-mente por la falta de una definición conceptual y operacio-nal explícita, y epistemológicamente por la inexistencia deestándares diferentes según la disciplina de la carrera, esimportante también preguntarse si existen amenazas a lavalidez y confiabilidad en la construcción y en la aplicaciónde los instrumentos de medición. Para ello es necesarioanalizar los instrumentos de medición utilizados por laCONEAU (en el caso de esta investigación, en la etapa deautoevaluación) para evaluar la calidad de los posgrados.

Esta primera etapa de la acreditación está a cargo delas propias unidades evaluadoras, las cuales deben com-pletar una Guía de Autoevaluación y una serie de for-mularios que anteriormente se encontraban alojados enel sistema de CONEAU (llamado Servidor Unificado) y


actualmente se completan vía web en CONEAU Global7.La construcción de los instrumentos de medición y elabo-ración de reglas para su aplicación en el proceso de acre-ditación está a cargo de la propia CONEAU, de acuerdo alos lineamientos de calidad que establezca el Ministerio deEducación en diálogo con el Consejo de Universidades.

A continuación, se detallan algunos factores que pue-den atentar contra la validez y confiabilidad de la medicióndesde este enfoque:

Fallas en los acontecimientos ambientales

Kerlinger (2002) afirma que la aplicación de los instru-mentos de medición se debe dar siempre bajo condicionescontroladas o similares. En las investigaciones en Cien-cias Naturales o Exactas, las condiciones estándar implicanestabilidad en las condiciones ambientales, climatológicaso físicas, por lo que se convierten en amenazas a la con-fiabilidad factores tales como temblores, fallas de luz, faltade espacio, etc. (Pick de Weiss, 1994). Ahora bien, ¿quétipo de fallas ambientales se pueden dar en la evaluaciónde posgrados? De las entrevistas surge que el sistema deCONEAU8 no siempre funcionaba bien, por lo que se danfallas tecnológicas en los acontecimientos ambientales yque ellos atentan contra la confiabilidad del proceso. ElEntrevistado N.º 1 explica que el sistema no está bien pro-gramado, por lo que el programa “se cae” afectando la últi-ma carga de datos que se haya subido: “El instructivo de laCONEAU se nos cayó el día anterior a la presentación y se

7 El nuevo sistema de acreditación y evaluación institucional se denomina Ate-nea, y dentro del mismo se pueden encontrar diferentes secciones, tales como elSIEMI (Sistema de Información para la Evaluación y Mejoramiento Institucio-nal), el Administrador Institucional, Formalizaciones, Instructivos y CurrículumDocente.

8 Servidor Unificado al momento de realizar la investigación.


perdió mucha información. Se pudo recuperar el back–up,pero todo lo que habíamos cargado esa última semana seperdió”. Este aspecto fue resaltado por la mayoría de losentrevistados e incluso la propia CONEAU lo reconoció ensu autoevaluación. Por lo tanto, las fallas del sistema afec-tan la confiabilidad de los datos, ya que la información sepierde y hay que generarla otra vez. El Entrevistado N.º 5también afirmó que tuvo muchos problemas al momentode la carga de la información, e incluso comentó que enalgunas ocasiones trabajaban generando toda la informa-ción primero en un documento respaldatorio y luego seabocaban a la carga de todo, con la seguridad de que lainformación quedaba cerrada en un documento madre.

A partir de 2015 la carga de información ya no fue en elsistema que estaba en uso, sino a través de CONEAU Glo-bal. El Entrevistado N.º 4 opina que es una gran innovaciónpara solucionar los graves inconvenientes que tenía el pro-grama: “Vas a poder trabajar todo en web y no vas a tenernecesidad de instalar ningún soporte, entonces vas a evitarlos problemas de versiones distintas, dificultades de carga,imposibilidad que varios usuarios trabajen en simultáneo”.

Cambios en los instrumentos de medición

Pick de Weiss (1994) comenta que los resultados de unainvestigación se pueden ver afectados si existen cambiosen los instrumentos de medición o en las personas quegeneran la información, por lo que hay que asegurarse queno haya cambios ni en los instrumentos ni en los actores acargo de conducir la recolección de datos. Contrariamentea esta recomendación metodológica, la CONEAU intro-duce cambios en los instrumentos de medición duran-te la autoevaluación, dado que van actualizando el for-mulario, por lo que los evaluados deben ir controlandoregularmente este aspecto para asegurarse que siempre


están trabajando con la última versión. Los entrevistadoscomentaron varias dificultades que tuvieron durante suexperiencia en acreditación relacionados con los cambiosen los formularios. Por ejemplo, el Entrevistado N.º 2 infor-ma que en una de las acreditaciones introdujeron a últimomomento nuevos anexos que ellos no llegaron a presen-tar. Además, el Entrevistado N.º 3 añade que, cuando seintroducen cambios, se crean nuevos campos y desapareceinformación. Incluso, este entrevistado comenta que hayun problema de dinámica de trabajo de la propia CONEAUentre la parte técnica y la de gestión, dado que el orga-nismo acumula información sobre los problemas, pero notiene tiempo para mejorar el instructivo antes de lanzar laconvocatoria. Por su parte, el Entrevistado N.º 4 comentaque durante las acreditaciones existe una “mesa de ayuda”de CONEAU con la cual las universidades se comunicanpara avisar sobre problemas técnicos que puedan surgir:“Las consultas de las universidades van obligando a hacermejoras en los formularios”, por lo que se van modificandodurante el proceso mismo.

Cambios en la situación personal de los participantes al ser evaluados

Pick de Weiss (1994) identifica esta amenaza a la confia-bilidad y la denomina “efectos reactivos o de interacciónde prueba”, los cuales surgen cuando los sujetos evaluadosreaccionan circunstancialmente de una manera más nega-tiva o positiva de lo que actúan normalmente al adminis-trar la prueba. Por lo tanto, estos sujetos dejan de ser repre-sentativos de la población. Esta amenaza a la confiabili-dad se puede explicar por las características psicológicas,sociales, económicas, o físicas de los evaluados, tales comoproblemas personales pasajeros, fatiga, mal humor, etc.


Una crítica particular que se encuadra dentro de estaamenaza es la de la monotonía que los evaluados sien-ten al completar los instructivos o la Guía de Autoevalua-ción. El Entrevistado N.º 1 describe el trabajo como tedio-so, dado que hay que completar información similar endiferentes lugares de los instructivos o guía y realizar resú-menes de información ya realizados en lugares anteriores.Así, el Entrevistado N.º 5 afirma que uno de los aspectosmás complicados del proceso de acreditación son las cons-tantes reiteraciones y “lo poco amigable del dispositivo decarga”, el cual dificulta mucho el trabajo. Pick de Weissrecomienda que los instrumentos de recolección de datossean interesantes, para evitar este efecto, “puesto que si esmonótono o tedioso corremos el riesgo de que la fatiga y/oel aburrimiento del informante influyan en la informaciónque nos ofrezca” (1994: 61). Si este sentimiento persiste,se corre el peligro además de convertir a la evaluación enun mero proceso burocratizado, y no en una actividad enla que se disponga de la motivación y creatividad de losevaluados para proveer la información necesaria.

Ausencia de instrucciones claras sobre el proceso de medición

Kerlinger (2002) afirma que la especificación de instruc-ciones claras sobre la naturaleza de los instrumentos demedición y su forma de aplicación tiende a reducir lasposibilidades de errores. Es decir, en la etapa de evaluacióninterna durante la cual los evaluados tienen que llenar ins-trumentos autoadministrados es indispensable que seanauto explicativos dado que, como comenta Pick de Weiss(1994), no siempre existe contacto entre el investigador ylos informantes.

En este aspecto, la CONEAU provee algunas instruc-ciones generales en la Nota Técnica que abre cada convo-catoria y en el Taller de Capacitación de asistencia volun-


taria, no obligatoria, que provee a los evaluados9. Por otrolado, los instructivos cuentan también con algunas espe-cificaciones sobre qué entiende el organismo por ciertosconceptos. Por ejemplo, en la ficha de actividad curricu-lar se detalla qué se entiende por los diferentes tipos de“actividad curricular” en el punto 3.1.1, como muestra lafigura 7:

Figura 7. Captura de pantalla sobre las actividades curriculares en la PC (punto 3.1.1)


Más allá de estos breves lineamientos que provee elorganismo, los instructivos a menudo no proveen informa-ción suficiente para aclarar dudas sobre la forma de com-pletarlo o para interpretar qué tipo de información se espe-ra en algunas secciones. Para mencionar algunos ejemplos,en el punto 2.2 de la PC, se solicita que se especifique lafunción del órgano que actúa como comité académico, ylas actividades que lleva a cabo. Por un lado, es confusala diferencia entre las funciones y las actividades. Y porotro lado en las actividades se solicita, como muestra lafigura 8, que se indique la periodicidad de las reuniones,las acciones realizadas y los resultados obtenidos. Por lotanto, la información a completar ya no se refiere solamen-te a la categoría “actividades”, es decir, dentro de un mismo

9 Se refiere al Programa de Formación en Evaluación de Instituciones y CarrerasUniversitarias del Programa Phronesis organizado por la CONEAU.


concepto se están incluyendo múltiples datos a informar.Este inconveniente representa una amenaza técnica, yaque en el instrumento no se proveen especificaciones cla-ras sobre la información que se solicita.

Figura 8. Captura de pantalla sobre comité académico en la PC (punto 2.2.2)


Por otro lado, la falta de distinción en las fichas académi-cas para profesores o para responsables en la gestión dan lugara otros inconvenientes, que los evaluados no siempre sabencómo resolver. Por ejemplo, en el punto 2 de la PC se pide com-pletardatossobrela“Dirección,comitéacadémicoyfunciona-miento de la carrera”. Se solicita en los puntos 2.1 y 2.2 que secompleteunafichadocenteporcadaunodelosencargadosdela gestión (ya sea Director, Coordinador, Comité Académico,etc.), y que se señale en la ficha dicha función en el punto sobrevinculación con la carrera. No obstante, ¿qué sucede cuandounamismapersonasedesempeñaenunafuncióndegestiónyademás dicta algunas horas de clase? El instructivo no lo con-templa y, en consecuencia, no da lugar a detallar las verdade-


ras funciones que cumplen las personas y promueve informa-ción inválida. El Entrevistado N.º 3 contó sobre una dificultadespecífica que encontraron en la acreditación de su posgradoal tener profesionales que se desempeñaban de forma perma-nente en un cargo de gestión en el Consejo Académico, peroque también eran invitados a dictar algunos seminarios: ¿setratadeprofesoresestablesoinvitados?Sonestablesensufun-ción de gestión e invitados en su función docente. Si se con-signara en relación al vínculo con la carrera que eran invita-dos,nopodíanserpartedelconsejoacadémico.Perosiponíanque eran permanentes, en la ficha figuraba un error porque aldescribir sus nombramientos docentes, la mayor cantidad dehoras docentes las tenían en otra universidad. El sistema nopermitíaentoncesresolverestadisyuntiva.

En la Ficha Docente también se encuentran otros erroresque las unidades académicas dudan sobre la forma de resol-verlos, dado que han sido observados en las vistas por proble-mas de interpretación “del dato medido”. Por un lado, la figura9 muestra el punto 4.1, que resume los datos de la nómina dedocentes estables e invitados de la carrera a partir de los datosconsignadosenlasfichasdocentes.

Figura 9. Captura de pantalla de la nómina y cantidad de docentes de la carrera en la PC(punto 4.1)



No obstante, el cuadro no diferencia entre horas dededicación como docente o como parte de algún órgano degestión. Por lo tanto, un directivo que es parte del plantelestable puede figurar con menos horas de dedicación queun profesor invitado, dado que no se toman en cuenta lashoras de dedicación a la dirección del programa. Además,considerando que la unidad de medición de “dedicación”se expresa en horas por semana, no hay forma de expli-car que hay profesores invitados que dictan seminariosintensivos y profesores permanentes que tienen una cargahoraria distribuida durante todo el año. Por esta razón, unprofesor invitado que dicta un seminario intensivo tiene dehecho más horas por semana, pero menos semanas dedi-cadas a la función docente en la carrera (por ejemplo, sidicta un seminario de 4 horas todos los días durante unasemana, el dato a consignar sería de 20 horas por semana,pero no hay lugar para especificar que se trata solo de unasemana al año). En cambio, un profesor permanente quedicta 4 horas por semana durante un semestre pareceríaque tuviera menos dedicación que el profesor invitado.Surge acá un error en la unidad de medición seleccionada.El Entrevistado N.º 3 asegura que “los datos sobre cuerpodocente son difíciles de explicar y están mal tomados, por-que están mal producidos”. El sistema no toma todas lasvariaciones posibles que existen en la realidad respectodel tipo de dedicación y tiempo dedicado, por lo que seproduce imprecisión por la falta de apertura de detalle delinstructivo y la ficha docente.

Estos datos mal producidos surgen por falta de ins-trucciones claras en el proceso de medición, ya sea porqueno se explica a los evaluados la manera de consignar lasvariaciones en las diversas modalidades que las universi-dades pueden tener, o porque el instructivo no está diseña-do para captar los modos y tiempo de trabajo que existen


en la realidad y, consecuentemente, para permitir que seinforme la verdadera situación de los docentes o responsa-bles de la gestión dentro de la unidad académica.

Errores en el armado de los cuestionarios

Todo cuestionario, como instrumento de medición, debecumplir con ciertas reglas que garanticen la validez y con-fiabilidad de la información que recoge, es decir, que ase-guren que los datos que produzcan respondan a los objeti-vos de la investigación quienquiera que aplique los instru-mentos. Los instructivos, fichas y Guía de Autoevaluaciónson cuestionarios autoadministrados, por lo que deben serlo suficientemente claros para que los evaluados los pue-dan completar sin mayores confusiones. Para ello, algunasde las reglas a seguir para el armado de los cuestionariosson las siguientes:

1) Claridad de los objetivos: Pick de Weiss (1994) ase-gura que al informante se le deben explicitar los objetivosde la investigación: ¿para qué se requiere dicha informa-ción y cómo se la utilizará? Kerlinger (2002) agrega queademás las preguntas que se realicen deben relacionarsecon el problema y los objetivos de la investigación, por loque su respuesta debe generar información que sea útil.En el caso de la acreditación de CONEAU, los informan-tes tienen claramente definidos cuáles son los objetivos dela evaluación: acreditar sus posgrados si es que gozan delnivel de calidad requerido por el organismo. Pero dada laamplia cantidad de información que se solicita, no siem-pre queda claro si los datos requeridos realmente realizanalgún aporte para medir lo que se quiere medir: la calidadde los programas académicos.

El Entrevistado N.º 6 mencionó este punto al comen-tar que se requiere información que no siempre está dis-ponible a mano o que directamente no está disponible


o realmente no es relevante: “No tiene mucha lógica, porejemplo, en la Ficha de Transferencia, si ponés una confe-rencia, poner cuántos alumnos participaron. Uno no tieneregistro de los últimos 6 años de todas las actividades quehizo y quiénes o cuántos exactamente vinieron”. Ante estosrequerimientos, los evaluados terminan poniendo datosque son imprecisos, por lo que su utilidad es cuestionadaen última instancia.

2) Cantidad de preguntas: Padua (1979) afirma que uncuestionario no debería ser demasiado largo, ya que es difí-cil mantener un nivel adecuado de interés del informantedurante mucho tiempo. Esto no implica que se deba dejarafuera pedido de información relevante, sino que hay queevitar extender la cantidad de preguntas más allá de losobjetivos de la evaluación. Si se multiplican las preguntaspidiendo información que no se analizará, será percibidopor los evaluados como una pérdida de tiempo. Además,cuestionarios demasiados largos se prestan a que se soli-cite la misma información en diferentes partes del mismo.En los instructivos de CONEAU esta fue una de las observa-ciones más importantes que se identificaron: hay superpo-sición en la solicitud de datos entre los instructivos, fichasy Guía de Autoevaluación. De hecho, el Entrevistado N.º5 asegura que “el tema más complicado de los formulariosson las repeticiones permanentes en las distintas dimensio-nes o aspectos”. Algunos ejemplos que podemos mencionarsobre estas reiteraciones son las siguientes:


(a) Reiteraciones de la información solicitada en los cuestionarios y en los anexosque se deben presentar

Se solicita mucha información que, de hecho, figura enlos Anexos obligatorios. Por ejemplo, en los formularios sesolicita la descripción de los requisitos de ingreso y per-manencia de alumnos, información que ya se encuentraaclarada en el reglamento de la carrera.

(b) Reiteraciones dentro de un mismo cuestionario

Para mencionar un ejemplo, en el punto 3 de la PC sobrePlan de Estudios se dan varios casos de superposición. Enel 3.8.1 se solicita describir los mecanismos de orientacióny supervisión de alumnos, y en el 3.8.2 se solicita la mis-ma información, pero especificada para la elaboración deltrabajo final o tesis. Por lo tanto, se puede considerar queel punto 3.8.2 está contenido dentro del 3.8.1. Además, enel 3.9.2 se solicita información sobre la modalidad de laevaluación final integradora, trabajo final, tesis, proyecto uobra. Parte de esta información ya se consignó en el pun-to 3.8.1 (en el que se solicita que en el caso de requerirtutores para la orientación y supervisión de alumnos sedebe describir cómo se los selecciona y qué condicionesdeben reunir) y 3.8.2 (cómo es la orientación y supervisiónrealizada a los alumnos que se encuentran en la etapa finalde elaboración del trabajo o tesis).

Otro ejemplo se da en la Guía de Autoevaluación,documento en el cual se solicita la misma información ensus diferentes partes. En el punto 2 de la primera parte sepide un análisis de los cambios producidos desde la acre-ditación anterior y las fortalezas y debilidad de la situaciónactual. Y, en el punto 4 de la primera parte se pide que,en base a este análisis, se indique nuevamente la modifi-cación, pero con una frase corta e indicando la página en


la que se describe. Lo mismo se vuelve a preguntar en elpunto 1 de la segunda parte cuando se pide que se redactecon frases cortas las fortalezas y debilidades de la situaciónactual. Es decir, a partir del análisis realizado en el punto 2de la primera parte se solicita que se reitere la misma infor-mación de forma resumida. El Entrevistado N.º 2 comentaque, en su opinión, la Guía de Autoevaluación está biendividida en criterios, pero se suponen muchos conceptosy hay repeticiones en cada uno de los lugares, por lo queconstantemente el evaluado está redactando lo mismo queya dijo y remitiendo además a esas secciones.

(c) Reiteraciones entre diferentes cuestionarios

Uno de los casos es que toda la información que se debedesarrollar en la Guía de Autoevaluación ya ha sido consul-tada en términos generales en los instructivos y fichas dela PI y PC. Por lo tanto, los evaluados tienen que completarla información con cuidado, de tal forma que todos loscuestionarios guarden coherencia entre sí. A continuación,a modo de ilustración de la cantidad de repeticiones, sedetalla en el cuadro 5 en qué partes de la PI o PC se solicitala misma información de las dimensiones que se debendesarrollar en la Guía de Autoevaluación:

Cuadro 5. Reiteración de información solicitada en la Guía de Autoevaluación, en la PI y en la PC

Criterio consultado en la Guía deAutoevaluación

Misma información solicitada en PIo en la PC

Clima académico PI – Punto 1.6 y 1.7

Interinstitucionales (o en convenio) PI – Punto 1.9.2PC – Punto 2.3.2

Normativa PI – Punto 1.8PC – Punto 0.6


Estructura de gestión yantecedentes de sus integrantes

PC – Punto 2

Plan de estudios PC – Punto 3

Formación práctica PC – Punto 3.4.3

Estables/invitados PC – Punto 4

Antecedentes y producción delcuerpo académico

Ficha Docente

Investigación Ficha de Actividades deInvestigación y de Transferencia

Trabajo final PC – Punto 3.8.2 y 3.9

Directores PC – Punto 3.8.1

Jurado PC – Punto 3.9.2

Seguimiento de alumnos PC – Punto 3.8

Infraestructura y equipamiento PI – Punto 2.1 y 2.2

Acceso a bibliotecas PI – Punto 2.4


Todas estas reiteraciones abren la posibilidad de per-der precisión en la información que se consigna y cansar alevaluado con cuestionarios innecesariamente largos en losque se consultan una y otra vez la misma información. Elrespondiente se aburre y se burocratiza entonces el rito dela acreditación por rutinas en las cuales se debe respondermuchas veces lo mismo. El Entrevistado N.º 6 contó queellos recibieron la recomendación de repetir informaciónsi veían reiteraciones y no presuponer que el evaluadoriba a recordar que lo había leído anteriormente: “Como laidea es hacerlo lo más explícito posible, muchas veces teníaalgunas reiteraciones”.


3) Orden de las preguntas: Babbie (2000) afirma queel orden de las preguntas puede afectar las respuestas delos informantes. Incluso, Sudman (1996) comenta que lasrespuestas siempre reflejan el juicio que los entrevistadosgeneran en un contexto dado, influenciados por la infor-mación a la que tienen acceso en un momento determi-nado y por las preguntas precedentes. El autor explica quelos humanos son “avaros cognitivos”, lo que los convierteen dependientes del contexto. Es decir, los entrevistadossiguen naturalmente una estrategia de “satisfacción” másque de “optimización” de sus respuestas, por lo que elcontenido de preguntas anteriores puede incrementar elacceso cognitivo a la información que ya fue utilizada paracontestar, o bien puede afectar las preguntas que vendránluego relacionadas con el tema. En términos generales, losinformantes pueden ir agregando información en base alas respuestas ya dadas, o limitando la información pensa-do que lo que querían decir ya fue dicho anteriormente.

Padua (1979) agrega que las preguntas se deberíanagrupar en los cuestionarios de tal modo de formar unaunidad, con una organización en la que exista una progre-sión lógica. Es decir, el cuestionario debe ir despertando elinterés del informante por responder, asegurando que laspreguntas sucesivas guarden relación entre sí, evitando lossaltos bruscos y las remisiones a temas que ya se indagaroncon antelación. La importancia del orden de las preguntasen un cuestionario se vincula, en última instancia, con elobjetivo de evitar producir en el informante: fatiga, aburri-miento, confusión, desorden, etc.

En los instructivos y fichas que se completan en el sis-tema se pueden identificar un número de incongruenciasrelacionadas con el orden y la numeración de las pregun-tas, lo cual atenta contra el orden lógico del cuestionario.Uno de los casos que ilustra este error se da en la Ficha


Docente, en la cual no se identifica un orden lógico o uni-dad dentro de algunos puntos. Por ejemplo, en el punto4 sobre Docencia Universitaria, de acuerdo a lo que sesolicita, se interpreta que CONEAU define como activida-des docentes tanto el dictado de clases como la direcciónde trabajos finales, tesinas o tesis. El punto 4.1 está dedi-cado exclusivamente a los cargos docentes actuales, peroen el 4.2 se mezclan pedidos sobre cargos docentes en elpasado (tabla 4.2.1) y dirección de trabajos tanto actualescomo en los últimos 5 años (punto 4.2.2), por lo que seestá incluyendo información actual en un punto denomi-nado en términos generales “Trayectoria”. Además, no hayuna división clara por tareas, dado que docencia actual esun punto aparte, pero docencia en el pasado se incluyejunto con dirección de tesis actual o en el pasado. Estasincongruencias en la organización del punto 4 se sinteti-zan en el cuadro 6:

Cuadro 6. Organización del punto 4 de la Ficha Docente

Campo Subcampo Actividad sobrela que consultael campo

Tiempo sobre elque consulta elcampo

Situación actual(4.1)

– Docencia Presente

Trayectoria (4.2) Cargodesempeñadoen el pasadocomo profesor(4.2.1)

Docencia Pasado

Dirección detesis, tesina otrabajo final(4.2.2)

Dirección detrabajos

Presente ypasado



Una opción más clara sería ordenar los puntos segúnactividad y tiempo, como se muestra en el cuadro 7:

Cuadro 7. Organización propuesta para el punto 4 de la Ficha Docente

Campo Subcampo Actividad sobrela que consultael campo

Tiempo sobre elque consulta elcampo

Docencia (4.1) Situación actual(4.1.1)

Docencia Presente

Cargosdesempeñadosen el pasado(4.1.2)

Docencia Pasado

Dirección detesis (4.2)

Actual direcciónde tesis, tesina ytrabajos finales(4.2.1)


Presente

Dirección detesis, tesina ytrabajos finalesen los últimos 5años (4.2.2)


Pasado


Por otra parte, los títulos de los puntos a veces no secorresponden con la información solicitada, lo que tam-bién introduce una confusión en el orden de las pregun-tas. En el punto 0 de la PC sobre los datos generales de lacarrera hay varios elementos incongruentes relacionadoscon la numeración de cada ítem y la vinculación entre eltítulo del ítem y la información que solicita. Por ejemplo,el 0.3 se titula “Año de inicio”, pero en el 0.3.2 se consultasobre la ciudad de dictado (que es un dato sobre espacio,


no tiempo, como indicara el título) y en el 0.3.4 se preguntasi se trata de una carrera interinstitucional (que es un datoinstitucional, no temporal).

Otros de los inconvenientes que se pueden mencionardebido al orden de las preguntas en el cuestionario loexpuso el Entrevistado N.º 4 sobre la Guía de Autoevalua-ción. Este explica que en la primera parte de la guía se pideuna especie de matriz FODA basándose en la evaluaciónanterior (es decir, no se solicita información actual). Lue-go se pide un informe de las actividades de mejora. En laparte 2 se tratan los cambios que se dieron en cada unode los núcleos. Por último, hay dos instancias que son lasde fortalezas y debilidades que aún subsisten. Por lo tan-to, no queda claro si estas últimas fortalezas y debilidadesson las actuales, o tienen que tener relación con las de laprimera parte. La guía no aclara nada sobre las fortalezas,pero como la pregunta a continuación es sobre debilidadesque aún subsisten, no queda claro si las fortalezas tambiéndeben ser nuevas o las que aún subsisten. Aquí el evaluadoestá condicionado en la manera de interpretar la guía porel orden de las preguntas.

4) Redacción de las preguntas: Pick de Weiss (1994)recomienda que los cuestionarios deberían evitar pregun-tas dobles o que requieran de dos respuestas a la vez. Enesta línea, Babbie (2000) sugiere que como regla general secompruebe que cuando aparezca el nexo “y” en un ítem,no se esté haciendo en realidad una pregunta doble.

En los instructivos se identificaron preguntas que, porla gran cantidad de información que solicitan, se vuelvenconfusas. Tales son los ejemplos de los puntos 1.6 de laPI (“Describir la relación de la oferta global de posgradocon los objetivos de la Unidad Académica. Mencionar laoferta de carreras de grado y posgrado y la política de desa-rrollo para los próximos 3 años que ha previsto la Unidad


Académica. Para instituciones con oferta de posgrado adistancia o semipresencial, describir los antecedentes de lainstitución universitaria y la Unidad Académica en el dise-ño de actividades no presenciales”.); 1.7 de la PI (“Describirla relevancia de la oferta de posgrado teniendo en cuentalas necesidades sociales, profesionales y académicas y elimpacto deseado; las principales líneas o áreas de investi-gación científica y tecnológica de la Unidad Académica ylas principales áreas de vinculación con el medio a travésde actividades de consultoría, asistencia técnica, transfe-rencia de tecnología, extensión y otras formas de asistenciay relación con la comunidad”); 1.1.1 de la PC (“Describirla fundamentación del posgrado, sus antecedentes y la tra-yectoria de la institución en el campo abordado (origen ydesarrollo)”), entre otros casos. La consecuencia de tenerque responder preguntas que requieran tanta informaciónen espacios breves produce confusión en el respondiente,dado que se pierden detalles y la información no represen-ta la realidad del posgrado.

5) Tipo de preguntas (cerradas o abiertas): tanto pre-guntas cerradas como abiertas tienen ventajas y desven-tajas, por lo que es importante elegir una u otra según elnivel de detalle y el tipo de información solicitada que serequiera.

Para comenzar, las preguntas cerradas proveen alinformante opciones de respuesta predeterminada. Pue-den ser simples o múltiples. Según Padua (1979), las pre-guntas cerradas simples son fáciles de registrar, interpre-tar, codificar y analizar, pero hay que tener en cuenta queuna respuesta seleccionada entre solo dos posibles opcio-nes puede forzar la realidad y disminuir su complejidad.En cambio, las preguntas cerradas de múltiples respues-tas dan la posibilidad de captar mejor la diversidad yampliar el nivel de detalle de la información, conservando


la facilidad para su codificación y análisis. En cualquiercaso, hay que tener en cuenta que las categorías, comodice Babbie (2000), tienen que ser exhaustivas (es decir,las opciones deben comprender todas las respuestas posi-bles en la realidad) y mutuamente excluyentes (si el inte-rrogado elige una opción, dicha opción no debe superpo-nerse ni total ni parcialmente con otra opción). Además,las opciones deben corresponder a la misma variable. Esdecir, los ítems deben gozar de la precisión suficiente detal modo que el informante sepa exactamente qué se leestá preguntando.

Dada la diversidad que existe en el conjunto de lasinstituciones de educación superior, a veces es difícil pro-veer preguntas cerradas que contengan todas las opcio-nes posibles. Es por ello que es necesario aclarar qué seentiende por cada término que se utiliza (¿qué se entiendepor docente estable e invitado?). Esta falta de aclaracionesprovoca que las opciones no cumplan con el requisito deser exhaustivas y mutuamente excluyentes. Por ejemplo,en el campo “Situación” del punto 4 de la Ficha Docen-te (Docencia Universitaria) las opciones disponibles sonconcursado, interino, contratado u otro (con posibilidad deespecificar). Ahora bien, ¿son estas opciones pertenecien-tes a un mismo criterio y excluyentes entre sí? En principio,la ficha no presenta ninguna aclaración sobre lo que seentiende por “Situación” y por cada una de las opciones.Por lo tanto, se puede interpretar que la opción “concur-sado” está relacionado con la forma de selección, “inte-rino” con la permanencia en el cargo, y “contratado” conla forma de liquidación de haberes. Y, por otro lado, enel ítem siguiente sobre “tipo de designación” las opcionesson rentado o ad honorem. ¿Acaso las opciones “rentado”y “contratado” pueden pertenecer a una misma categoría?


En este ejemplo hay una mezcla de variables, dado que losítems responden por un lado a “forma de selección” y, porotro lado, a “forma de liquidación de haberes”.

En el caso de Trabajo Final, y tal como se explicóal comienzo del capítulo, no se entiende si la eleccióndel tipo de trabajo es un ítem que debe cumplir con laopción “mutuamente excluyente”. Al parecer, por lecturade la resolución, parecería que una maestría podría tenervarios tipos de trabajo final que puedan ser seleccionadospor el alumno. Pero en el instructivo, según el formato quese le permite completar a los evaluados, los diferentes tiposde trabajo final se convierten en ítems mutuamente exclu-yentes, pues solo se puede elegir una opción. Además, notodas las opciones presentes en la resolución están nume-radas en los ítems de los instructivos. Es decir, en el punto2 de la Ficha de Tesis se dan como opciones tesis, proyectode tesis, proyecto, trabajo final y obra. Pero la RM 160/11,además de los mencionados, incluye como posibles opcio-nes también estudio de casos, producción artística y dejauna opción abierta a “trabajos similares”.

Por otro lado, las preguntas abiertas tienen la ventajade permitir un mayor acceso a detalle y, según Padua(1979) también un mayor grado de compromiso y motiva-ción del respondiente. Las preguntas abiertas se utilizanentonces especialmente cuando aún no se tiene suficien-te conocimiento del fenómeno (si se utilizaran preguntascerradas, no se captaría la totalidad de la realidad a explo-rar) o cuando se trata del estudio de comportamientos (enel caso de fenómenos latentes como los valores, por ejem-plo, la falta de opciones que puede presentar una preguntacerrada concluye en un sesgo, dado que hay que elegirentre respuestas predefinidas). Sin embargo, las preguntasabiertas son más difíciles de codificar y analizar, y a veces elrespondiente tiene dificultades para entender qué se está


preguntando. En caso que se realicen preguntas abiertas,hay que tener en cuenta la forma de redactarlas (tal comose mencionó anteriormente en el punto 4 de este análisis),y en el diseño gráfico del cuestionario (¿se está proveyen-do un espacio suficiente para una respuesta completa?).Es decir, el espacio de respuesta debe ser congruente conel tipo de pregunta que se hace para poder responder demanera completa y precisa. En el caso de los instructivos,en general los espacios son muy breves para responder atodas las cuestiones que se solicitan. Algunos inconvenien-tes de problemas de espacio disponible para responder sedan en el punto 3 de la PC, el cual versa sobre el Plan deEstudios. Este es un instructivo que solicita datos cualita-tivos en su gran mayoría, dado que es el espacio que losevaluados tienen para explicitar los aspectos didácticos ypedagógicos de la carrera. Por lo tanto, es el instructivoque contiene la información central del programa, pero losespacios dedicados a su descripción son demasiado aco-tados como para presentar un desarrollo correcto del Plande Estudios. Por ejemplo, en el punto 3.4 solo hay espaciosuficiente para describir una o dos modalidades de eva-luación, pero cada materia puede tener una forma distintade evaluar. Otro ejemplo es el de la Ficha Curricular sesolicita en el punto 1.2 que se describan los contenidos yla vinculación con los objetivos de la carrera en solo 300caracteres, lo que equivale aproximadamente a tres ora-ciones completas.

El Entrevistado N.º 2 sugiere respecto a este problemaque quizás se podría subsanar la dificultad para completarlos instructivos y las fichas completando con más infor-mación en la Guía de Autoevaluación. Sin embargo, másallá de que esta solución no resuelve el problema originaly además no hay una aclaración sobre cómo solucionarproblemas de espacio, cabe preguntarse si técnicos y pares


analizan todos los instrumentos como una unidad. Si asíno fuera, se consideraría la respuesta como incompleta ylo que figura en otra parte de los documentos como incon-gruente o irrelevante. Los evaluados no pueden confiar enesta posible salida.

6) Relevancia de las preguntas: Babbie (2000) reco-mienda que las respuestas reflejen genuinamente actitu-des y datos ciertos, las preguntas deben ser lo suficien-temente importantes en el contexto de la investigación yestar en relación a los objetivos. En algunas de las fichasque versan sobre aspectos de suma importancia para lacalidad de un posgrado (como las fichas de investiga-ción, transferencia o tesis) faltan preguntas relevantes quehacen a la importancia de los proyectos principalmenteen determinadas disciplinas. Por ejemplo, en la Ficha deInvestigación se consultan sobre los principales resulta-dos de la investigación haciendo referencia solo al impactoacadémico (publicaciones en revistas con o sin arbitraje,libros o capítulos de libros, trabajos presentados en con-gresos o seminarios, u otros resultados pasibles o no detítulo de propiedad intelectual). No se indaga sobre otrostipos de impacto que puede tener una investigación, comoel impacto sobre la sociedad (importante para las inves-tigaciones en Ciencias Sociales o Ciencias de la Salud),sobre la propia organización (importante para las investi-gaciones en Administración de Empresas), etc. De formasimilar, en la Ficha de Transferencia no se consulta sobrelos resultados del proyecto, aspecto de suma importanciasi se considera que las actividades de transferencia tienenimportancia a partir del impacto que generan en otros sta-keholders.

La Ficha de Tesis no presenta ningún ítem de consultasobre el impacto profesional y/o social de la tesis. Exclu-yen otros tipos de impacto que pueden ser aplicables a


la producción de una tesis, como la presentación en con-gresos o el cambio generado dentro de alguna institucióngracias a la investigación realizada. Por último, y tambiénen relación al impacto que puede tener el trabajo final, enningún lado se consulta sobre la relevancia académica ypráctica en la disciplina en la cual se enmarca.

En este caso el instrumento está contemplando unabordaje conceptual de la variable calidad que no tiene encuenta los diversos tipos de impacto que pueden tener lasactividades de investigación y transferencia en diferentesdisciplinas.

7) Adaptación del cuestionario a la materia analizada:es importante tener en cuenta que el cuestionario se debeadaptar a la naturaleza del objetivo de investigación, y noadaptar las respuestas al cuestionario. En el caso de loscuestionarios de CONEAU, se utilizan los mismos instruc-tivos para todas las disciplinas. Por lo tanto, a veces se vuel-ven un tanto difícil completarlos dado que hay áreas disci-plinarias cuya formación tiene una metodología distinta. ElEntrevistado N.º 2 comenta que hay ítems difíciles de com-pletar en los instructivos cuando se están evaluando, porejemplo, posgrados del área de Ciencias de la Salud, prin-cipalmente en las especializaciones asociadas a residencia,que son carreras con 12.000 a 14.000 horas de cursada entotal durante cuatro años. Por otro lado, contó que “siemprecuesta distribuir lo que es carga horaria práctica de lo quees carga horaria teórica”, dado que en Ciencias de la Saludexisten semanas de guardia.

Vaguedad de los parámetros

La RM 160/11 y la Guía de Autoevaluación, documentos enlos que se detallan los estándares, contiene vaguedades enrelación a lo que se espera como mínimo que se cumpla enlos posgrados. Algunos ejemplos son:


• “En aquellas Especializaciones en las que el área aprofundizar sea la práctica profesional se incluirá unfuerte componente10 de práctica intensiva”. (RM 160/11).

• “… el director y codirector deberá/n tener méritos sufi-cientes10 en el campo científico, tecnológico o artísticoque corresponda”. (RM 160/11).

• “Suficiencia10 y actualización de los contenidos y labibliografía de los programas de las asignaturas”. (Guíade Autoevaluación).

• “Suficiencia10 de la duración y carga horaria prevista”.(Guía de Autoevaluación).

• “Adecuación y suficiencia10 de las aulas para el desa-rrollo de las actividades curriculares. / del equipa-miento informáticos a disposición de los alumnos. /de los laboratorios para el desarrollo de las actividadescurriculares”. (Guía de Autoevaluación).

• “Suficiencia10 del fondo bibliográfico especializadodisponible en bibliotecas y hemerotecas, de los servi-cios ofrecidos, de la capacidad del equipamiento y delas bases de datos”. (Guía de Autoevaluación).

¿Qué se entiende por “fuerte componente”, “méritossuficientes”, “adecuación y suficiencia”, entre otros? El usode estos términos no alcanza para que evaluados y evalua-dores (técnicos o pares) comprendan el criterio cuantitati-vo esperado por la CONEAU. Estos términos, por un lado,salvan la rigidez con la que se podrían evaluar carreras condiferencias regionales, disciplinares, institucionales o pro-fesionales. Pero, por otro lado, tampoco se los especificaen ningún otro documento propio de cada convocatoria deacreditación. Por lo tanto, los evaluados van construyendo

10 Énfasis agregado por la autora.


ellos mismos una idea de lo que se espera a través de laexperiencia que adquieren en sucesivas acreditaciones ouna vez que la CONEAU les hace la devolución.

El Entrevistado N.° 4 cuenta un asunto específico sur-gido en las acreditaciones de posgrados de Ciencias de laSalud. El Ministerio de Salud sacó resoluciones sobre cómose deberían cumplir los criterios en cada una de las carre-ras del área, pero lo hizo en medio del proceso de acre-ditación. La CONEAU informó estos nuevos parámetros alas universidades, pero fue en medio del proceso de acre-ditación y sin documentación formal. En esta situación, elMinisterio de Salud decidió colaborar con los procesos deacreditación detallando cómo aplicar los criterios, pero nolo hizo con la antelación necesaria ni de manera formal.

Dificultad para comprensión del léxico

Sudman (1996) afirma que la mayoría de los problemas decomprensión que puede tener un entrevistado se dan porambigüedades del léxico o de la estructura. Pero, mientraslas ambigüedades estructurales se pueden evitar prestan-do atención al orden de las preguntas, las ambigüedadesdel léxico son propias de la naturaleza del lenguaje y mues-tran las múltiples definiciones que puede tener una mis-ma palabra. Todas estas definiciones están limitadas por elcontexto en el cual aparecen. Sin embargo, en el universode las instituciones de educación superior, en el que lasorganizaciones son tan complejas y disímiles, la falta deaclaración de un concepto puede derivar en varios proble-mas de interpretación sobre lo que se está evaluando.

El Entrevistado N.º 4 le otorga especial importancia aesta amenaza a la confiabilidad, ya que los conceptos quese utilizan no siempre se adaptan a la realidad del lengua-je de cada sistema dentro de la institución universitaria.


Algunos ejemplos sobre dificultades surgidas por diferen-cia en la interpretación de los conceptos se dan en lossiguientes casos:

• Las instituciones pueden organizar de forma diferentela “dedicación docente” de sus profesores. Por ejem-plo, en ciertas universidades la “dedicación docente”incluye todo el grupo de materias en las que un pro-fesor dicta clase, mientras que en otra se puede tomarcada una de las comisiones específicas. Esta diferen-cia impactará en la cantidad de horas que se informepor dedicación, dado que en el primer caso se puedeanalizar que un docente cuenta con más cantidad dehoras (pues se suman todas las materias y comisio-nes en las que dicta), mientras que en el otro casoparecería que el docente dicta pocas horas (ya que seespecifica cada una de las materias).

• En relación a los convenios, pueden existir variacionesde interpretación sobre el tipo de actividad querequiere convenio o el formato que debe tener unconvenio.

• Algunas instituciones pueden considerar como “pro-yectos de investigación” el trabajo doctoral de unbecario al que la universidad le paga la beca. Pero elconcepto de “proyecto de investigación institucional”de CONEAU es distinto.

Según el Entrevistado N.º 4 las instituciones se debenadaptar a lo que CONEAU entiende por dichos concep-tos, los que no siempre quedan claros desde el inicio, porlo que los evaluados deben ir construyendo su sentido apartir de las devoluciones que reciben o consultando a loscoordinadores de CONEAU. De hecho, este entrevistadoconcluyó que “para tener éxito, tenés que ir traduciendolo que nosotros entendemos y lo que CONEAU entiende y


espera”. En esta misma línea, el Entrevistado N.º 6 tambiénexplica que el problema “no es que no se entienda, sino quelo que uno entiende no es exactamente cómo lo interpreta laCONEAU”. Y este inconveniente influye a la vez en la cargade trabajo: por ejemplo, este último entrevistado explicaque como no todos los docentes identifican cada una delas categorías que utiliza la CONEAU, es necesario que losresponsables de la acreditación revisen todo aquello quecompletaron para confirmar que hayan entendido cómotenían que completar. De hecho, hay categorías que utili-za la CONEAU, por ejemplo de la Ficha Docente, que sondistintas o inexistentes en algunas instituciones universi-tarias, por lo que hay que realizar un trabajo de asimila-ción de conceptos.

Corengia introduce en su investigación el problemade “tecnicismo pedagógico esotérico”. Con este término serefiere a la generación de un exceso de tecnicismo desde elvocabulario (entre otros factores) que tiene efectos perver-sos y provoca la “pérdida de democraticidad de los proce-sos de evaluación y acreditación” (2010: 133). La principalconsecuencia de estos problemas de lenguaje es que seforma dentro de la institución una subcultura de aquéllosque saben qué entiende la CONEAU por dichos conceptos,lo que genera un divorcio entre los procesos propios dela institución (conocidos por todos los actores) y lo queentienden los técnicos encargados de acreditación. Este esun factor que atenta contra la confiabilidad ya que tantounos como otros participan en la evaluación interna com-pletando los instructivos, fichas y guía. Por lo tanto, cadapregunta puede ser respondida de forma diferente por losdiferentes actores. Hay que tener en cuenta que, si el entre-vistado se encuentra con una palabra ambigua, siempre la


interpretará de acuerdo al sentido que ellos tengan accesoen aquel momento. Por ello es necesario incluir aclaracio-nes sobre la terminología utilizada.

Todos los factores mencionados en el presente capí-tulo atentan contra la validez y confiabilidad de la medi-ción. Estas amenazas son producto de la inexistencia deun referente claro de la variable a medir, como así tambiénpor el uso de instrumentos iguales para medir unidadesdiferentes (como especializaciones, maestrías y doctora-dos de diferentes disciplinas). Se suman además fallas anivel técnico en la construcción y aplicación de los instru-mentos, y el consecuente efecto reactivo sobre los parti-cipantes. ¿Cómo afectan todas estas amenazas al procesode implementación de la política pública de acreditaciónconsiderado en su integralidad?


9

Discusión y conclusiones

9.1. La implementación de una acreditación con amenazas de fallasen la medición

La implementación de una política pública es un procesoconstante de negociación entre los diversos actores invo-lucrados. Esta negociación no se terminó con la toma dedecisión sobre una de las alternativas propuestas, sino quese continúa luego en los debates sobre cómo implemen-tar dicha decisión en el campo de juego. En el caso de laacreditación de posgrados, la Ley de Educación SuperiorN.º 24.521 se encargó de proveer en principio las condi-ciones iniciales para la implementación de las evaluacio-nes de calidad, dado que sancionó la obligatoriedad deacreditar carreras de posgrado y creó un organismo oficialresponsable de dicha tarea. No obstante, luego de estascondiciones iniciales, es necesario continuar trabajandopor mantener el compromiso de todos los actores con lapolítica pública. Por lo tanto, la etapa de implementaciónde la política pública se complejiza al tener dos misionesprincipales: concretar la decisión y velar por el convenci-miento de los involucrados que la decisión está cumplien-do con su objetivo original. La implementación de la polí-tica de acreditación entonces debería efectivamente dar fepública de la calidad de los posgrados mediante la evalua-ción que realiza la CONEAU, pero también debe trabajarpara que los actores reconozcan en el resultado favorable

161

o desfavorable de la acreditación una garantía de calidadacadémica. Son diversos los factores que pueden influen-ciar en estas dos tareas, uno de los principales, la cantidadde actores intervinientes. Cuanto mayor sea la multiplici-dad de jugadores en el tablero, mayores serán las eventua-les amenazas a la validez y confiabilidad de la medición(muchas de las cuales ya fueron identificadas en el capítulo9) en las distintas etapas del proceso de implementación.

Un tablero con múltiples jugadores

La implementación de una política pública se vuelve másdifícil cuanto mayor es la cantidad de actores que tienenalgún rol en ella, dado que aumenta la cantidad de juga-dores en la negociación. Esta dificultad deriva de la can-tidad de decisiones que son necesarias para cada acciónde implementación, pues en ellas se requiere de la coope-ración de todos los participantes. Es decir, por más quela decisión de implementar la acreditación puede ser unadecisión unilateral tomada por el ápice estratégico de unainstitución de educación superior para cumplir con la obli-gatoriedad de evaluación que demanda el Ministerio deEducación, para que la acreditación no pierda su real senti-do durante la implementación hay que contar con el apoyode todos los que participan en el juego. Si no hay decisio-nes tomadas de forma conjunta implícita o explícitamente,la implementación queda amenazada de interrupción odesvío de los objetivos iniciales.

En relación a la política de acreditación de posgrados,es importante destacar que existe una multiplicidad deactores que tienen intereses en la cuestión y que, por lotanto, influyen en la implementación de esta evaluación.Por un lado, por parte del Estado, juega un papel impor-tante el Ministerio de Educación de la Nación dado que através de su capacidad resolutiva es en última instancia el


encargado de establecer los criterios y estándares de acre-ditación. Además, los técnicos y miembros de CONEAUson los principales responsables de llevar adelante las eva-luaciones. Por otro lado, también tenemos a las institucio-nes de Educación Superior, agrupadas en organizacionescomo el CRUP o el CIN, o actuando individualmente. Y, porúltimo, están cada uno de los sujetos que conviven dentrode una universidad: alumnos, docentes e investigadores,gerentes, personal administrativo… Por lo tanto, la imple-mentación de la política de acreditación deberá consideraresta diversidad, lo cual complejiza la cooperación requeri-da para el éxito de la política.

Incluso, dentro de la propia universidad, las exigen-cias de la CONEAU respecto a los procesos de evaluacióninstitucional y acreditación de carreras también requierende fuerzas unificadoras, dado que se necesita para dichasinstancias la participación y colaboración activa de losdiferentes sectores de la estructura universitaria, cada unocon su propia cultura profesional que va más allá de lapertenencia institucional. En este sentido, los procesos deevaluación demandan del trabajo conjunto de los dos tiposde mecanismos que tiene la universidad para realizar sustareas generales: mecanismos administrativos de gestióny mecanismos académicos de producción y transmisióndel conocimiento. Ahora bien, dado que los procesos deevaluación analizan a la universidad o la carrera como untodo, es necesario tener una visión amplia de la unidad odel programa que involucre a todas las partes de la estruc-tura, ya que el trabajo requiere tanto de habilidades admi-nistrativas como académicas.


Considerando esta multiplicidad de actores que par-ticipan durante la etapa de autoevaluación de la acredita-ción, aumentan las posibilidades de que se generen viciosen este proceso si no se subsanan eventuales amenazas a lavalidez y confiabilidad de la medición en sus tres órdenes:

1. En el orden conceptual: si no existe una concepciónexpresa de calidad y sus estándares son poco claros,pueden surgir tantas interpretaciones como actoresen el escenario. Además, desde la dimensión episte-mológica, estos actores que participan de la acredi-tación definen su identidad de acuerdo a la institu-ción a la que pertenecen y a la disciplina en la quese desempeñan. A medida que aumenta la tendenciaa la mayor especialización del saber, mayores son lasdiferencias que surgen entre carreras de disciplinas ysubdisciplinas diferentes, por lo que mayor es la can-tidad de actores.

2. En el orden instrumental: si los instrumentos no estánconstruidos respetando las buenas prácticas de unamedición de calidad, las posibilidades de mala inter-pretación, dudas y error respecto a la aplicación delos instrumentos se multiplicarán cuantos más acto-res participen.

Por lo tanto, las amenazas a la validez y confiabilidaddetectadas en el capítulo precedente pueden aumentar sise considera la gran cantidad de jugadores que participande los procesos de acreditación. ¿Puede este factor llevar alfracaso de la política pública de acreditación?


¿Por qué puede fracasar la implementación de la acreditación?

Son múltiples los factores que pueden incidir en la imple-mentación de una política pública, conduciéndola al fra-caso. El fracaso de un programa por una u otra explicaciónconcluye en diferentes efectos negativos que erosionan elpoder inicial que tenía la política para solucionar una cues-tión problematizada (Tamayo Saez, 1997). De hecho, pue-de haber vicios en cada una de las etapas anteriores quecorrompan el proceso desde su inicio. Por ejemplo, pue-de haber errores en la problematización de la situaciónque lleve a la necesidad de una política pública, puedehaber errores en la formulación de la misión y principalesobjetivos de la misma, o incluso en algunos aspectos de lapropuesta seleccionada. En este caso concreto, la políticapública no presenta vicios de origen, dado que el estado desituación que llevó a la necesidad de instalar las evaluacio-nes de la calidad son un escenario descripto, comprobadoy públicamente aceptado a nivel nacional e internacional:el aumento desmedido de la cantidad y diversificación dela oferta de posgrados. Tampoco hay vicios en los propó-sitos derivados de esta situación, ya que la necesidad decrear y consolidar un organismo oficial cuya función seagarantizar la calidad de los posgrados ha sido finalmenteaceptada por todos los participantes (incluso por las pro-pias universidades, quienes en un principio veían en estadecisión una amenaza a su autonomía histórica). Por lotanto, las condiciones iniciales para la implementación dela política pública estaban dadas.

No obstante, el proceso puede viciarse durante lapropia etapa de implementación cuando los procedimien-tos o instrumentos utilizados no dan lugar a una medi-ción válida o confiable en su totalidad. En este sentido,la implementación de la política pública de acreditaciónse ve viciada por amenazas en el orden conceptual e ins-


trumental. Debido a estas amenazas identificadas en lamedición de la calidad, se pueden perder las energías delos participantes debido a sentimientos de incertidumbre,pues pueden provocar inseguridad sobre la precisión de lagarantía de calidad que ofrece la CONEAU. Y esta pérdidade confianza tendrá efectos directos sobre el objetivo dela política pública: la ley se cumple formalmente pero noalcanza la misión de garantizar la calidad.

Políticas top-down y bottom-up

Frente a las amenazas a la validez y confiabilidad identi-ficadas en el proceso de medición de la calidad, ¿cómo sepodría consolidar la acreditación y así cumplir su objetivode garante de la calidad?

El proceso de acreditación está pensado en esencia apartir de métodos que combinan diversas fuentes y eva-luadores, triangulando la información. Se incluye en prin-cipio un primer intento de triangulación a partir de larealización de una autoevaluación y otra evaluación exter-na. De esta manera, la primera se alimenta de datos quepueden ser comprobados en la segunda y permite quelos propios evaluados participen como sujetos activos enla auditoría. Nicoletti (2013) define a la autoevaluacióncomo un informe escrito que da cuenta del funcionamien-to, procesos, recursos y resultados del objeto de evalua-ción. Para poder realizar una verdadera autoevaluaciónentonces se necesita no solo la voluntad manifiesta delas máximas autoridades de la institución, sino tambiénla participación activa de todos sus integrantes (directi-vos, alumnos, docentes, administrativos, graduados). Porlo tanto, la autoevaluación es en sí misma una forma detriangulación que se utiliza para “contrastar desde diferen-tes perspectivas, para apreciar acuerdos y desacuerdos yelementos que permitan decidir sobre la credibilidad de


la información, permitiendo eliminar el sesgo que puedesuponer la utilización de una única fuente de información”(Nicoletti 2013: 190). Este proceso de triangulación le pro-vee mayor confiabilidad a la acreditación. No obstante, elproceso de medición ya se ha visto originalmente contami-nado por la falta de conceptualización de la variable cen-tral a medir. Por lo tanto, por más que exista triangulaciónde fuentes y de evaluadores, los conceptos originales deestos sujetos serán diferentes según la interpretación quehagan de los lineamientos que tienen sobre el conceptocalidad. En síntesis, primero y ante todo es necesario saberqué se entiende por este concepto para asegurar la calidaddel resto del proceso.

Además, el sistema de evaluación de la calidad eneducación superior se afianzará también a medida quepermita a los diferentes sujetos con intereses participar deldiseño e implementación de los instrumentos de medi-ción. Esto implicaría comenzar a introducir mayores ins-tancias bottom-up, sin descartar que ciertas acciones tie-nen por sí mismas una naturaleza top-down. Es decir, laobligación que tienen todos los programas de posgradosde presentarse a los procesos de acreditación, de cuyaaprobación depende su funcionamiento, es una decisióntop-down exigida por el Estado para desarrollar en las insti-tuciones progresivamente una cultura de la evaluación. Noobstante, esta cultura de la evaluación solo se consolidarási los actores con intereses participan de la política públi-ca: los diferentes sectores académicos y administrativos delas instituciones de educación superior, las organizacio-nes que agrupan universidades, los consejos profesiona-les, entre otros. Asimismo, habría que incluir a especialis-tas en metodología para aportar sus conocimientos en la


definición de la variable (no desde el punto de vista con-ceptual, sino metodológico) y en la construcción y aplica-ción de los instrumentos de medición.

Si no se trabaja en la acreditación evaluando el mismoproceso de implementación de la medición de la calidad,los procesos de acreditación se seguirán llevando a cabo(ya que se trata de una exigencia legal) pero sus procedi-mientos pueden burocratizarse, olvidando el objetivo ini-cial de trabajar por la mejora continua de la oferta aca-démica.

9.2. Conclusiones

Toda intervención sobre escenarios en los que juegandiversos actores requiere de una constante revisión sobrelos instrumentos utilizados para solucionar los problemas.Trabajar con actores sociales, como es el caso de la edu-cación, implica trabajar sobre escenarios dinámicos, dadoque los sujetos y las organizaciones que estos conformancambian en forma constante. Los procesos de mediciónaplicados sobre estos contextos necesitan entonces de unacontinua evaluación para asegurar la validez y confiabili-dad de los procedimientos y de los datos elaborados. Enúltima instancia, cualquier decisión que se tome sobre labase de información mal producida pierde legitimidad.

Conclusiones sobre los objetivos específicos

En esta investigación se propuso indagar sobre las even-tuales amenazas a la validez y confiabilidad de la mediciónde la calidad en la etapa de autoevaluación de los proce-sos de acreditación de posgrados que realiza la CONEAU.Siguiendo este objetivo general, y a partir de un análisisdocumental y de entrevistas a algunos evaluados, se llegó


a la conclusión de que existen factores conceptuales e ins-trumentales que atentan contra la validez y fiabilidad deesta medición.

Las conclusiones de esta investigación se puedenresumir respondiendo a los objetivos específicos propues-tos al inicio de la investigación:

1) Análisis de eventuales amenazas a la validez de los instrumentosde evaluación

La inexistencia de una definición explícita de calidad aca-démica es la primera y principal amenaza a la validez delproceso de medición, dado que no se dispone de una con-ceptualización a partir de la cual determinar las accionespara medirla.

La CONEAU es solo un organismo ejecutor, no es elresponsable en definir qué se entiende por calidad acadé-mica. Es el Estado a través del Ministerio de Educación enconsulta con el Consejo de Universidades quien se encargóde determinar los parámetros de calidad en la RM 1168/97, actualizada por la RM 160/11. Por lo tanto, este tex-to legal se convierte en una guía imprescindible para lapropia CONEAU (son los lineamientos con los que cuen-ta para diseñar los instrumentos de evaluación), para losevaluados (a partir de ella entienden qué estándares míni-mos deben alcanzarse), y para los evaluadores (técnicos ypares, a quienes esta resolución provee información sobrelos criterios a tener en cuenta para juzgar las presenta-ciones). Sin embargo, es un documento que presenta losaspectos de la variable calidad, como así también algunosparámetros, pero no se encuentra fundamentado en unadefinición conceptual ni organizado propiamente comouna definición operacional. Lo dicho constituye una ame-naza a la validez del constructo, ya que pueden surgir pro-blemas de consistencia entre el instrumento empleado y el


referente. Solo a partir de una definición conceptual explí-cita se pueden diseñar instrumentos apropiados a los esce-narios bajo análisis, permitiendo a todos los actores invo-lucrados interpretar la realidad con los mismos criterios.

Pero, además de estar claramente explicitado, estereferente de la variable calidad debe captar todas las pro-piedades del objeto de estudio. El referente implícito decalidad académica debe considerar entonces la disciplinay la profesión, las diferencias surgidas dentro de las uni-versidades entre el mundo académico y el administrati-vo, y la influencia de actores que se encuentran fuera dela órbita de la universidad pero tienen intereses en ella.En este sentido, tanto la definición conceptual como laimplementación de los instrumentos de medición de lacalidad de los posgrados deben adaptarse a las cualidadesde la institución universitaria y al contexto específico queenmarca a cada institución (es decir, tendencias naciona-les e internacionales). De lo contrario, si los instrumentosde medición no estuvieran cubriendo toda la amplitud delreferente, hay probabilidad de que surjan amenazas a lavalidez de contenido.

En esta línea, Krotsch introduce como un aspecto fun-damental que los “métodos de evaluación deben poder ilu-minar a la institución en sus aspectos oscuros, organizacio-nalmente difíciles de reconocer” (2002: 174). Para esto, laevaluación debe investigar tanto a las propiedades forma-les como informales, visibles e invisibles, de la institución:“En los sistemas educativos y en particular en la univer-sidad, como institución especialmente opaca a la miradaexterna, es preciso partir de una concepción del objetoque privilegie los aspectos no manifiestos vinculados a esemotor institucional que es el conflicto, aquellos aspectosde los que justamente el organigrama y los documentos


no dan cuenta, pues estos aspectos –a diferencia de lo quesucede en la empresa– son los que predominan en institu-ciones de este tipo” (Krotsch, 2002: 175).

La CONEAU ha diseñado los mismos instrumentosde medición para todos los posgrados e instituciones porigual. En este sentido, por más que la RM 160/11 especi-fica que los estándares se aplicarán de forma diferenciadasegún ciertos factores, esta diversificación no se traduce enlos instrumentos. Consecuentemente, no hay instrumen-tos o lineamientos diferentes según disciplina o antigüe-dad del programa de posgrado (si se trata de una carreranueva o en funcionamiento). Por lo tanto, por más que elreferente que se toma de calidad afirma que hay diferen-cias regionales, institucionales, disciplinares y profesiona-les, estas mismas no se toman en consideración al momen-to de operacionalizar la variable.

2) Identificación de factores que amenazan la confiabilidadde los instrumentos y su aplicación

El primer factor que amenaza la posibilidad de quediversos evaluadores lleguen a conclusiones similares seencuentra en que, dado que no hay una definición explíci-ta de calidad, cada sujeto realiza su propia interpretaciónde esta variable.

En el orden técnico, se encuentran amenazas a la con-fiabilidad en la gran cantidad de preguntas que contienenlas fichas, instructivos y Guía de Autoevaluación, muchasde las cuales hacen que el instrumento sea repetitivo; enla vaguedad de las preguntas realizadas, en las cuales noqueda claro qué tipo de información se está solicitando;en la falta de un orden lógico en algunas secciones delcuestionario; en la redacción confusa de las preguntas; enla existencia de preguntas abiertas con poco espacio paraser respondidas; en la existencia de preguntas cerradas con


ítems que no son excluyentes ni exhaustivos; en la irre-levancia de alguna información solicitada. Anteriormentetambién surgían amenazas ante la dificultad de utilizar elServidor Unificado de CONEAU y los problemas tecnoló-gicos propios del programa; y ante los cambios en los ins-trumentos de medición, durante el período mismo en quelas instituciones los están respondiendo. Asimismo, haycambios en los respondientes producidos por las fallas enlos acontecimientos ambientales, como aquellas surgidaspor los cambios en la situación personal de los evaluados,explicadas por la falta de dinamismo y claridad de los pro-cesos de acreditación, entre otros.

En el orden psicológico encontramos aquellos efectosproducidos por la redundancia o la dificultad para la com-prensión del léxico, que produce que los respondientes noreconozcan la seriedad y dedicación que el proceso requie-re. Estos aspectos afectan la confiabilidad del proceso. Yasea debido a las fallas en la precisión del instrumento o alos efectos reactivos que la aplicación de estos tiene sobrelos participantes, un dato mal construido redunda en con-clusiones diferentes respecto a la calidad de los posgrados.

9.3. La importancia de evaluar la calidad de las evaluacionesde calidad

La principal idea que ha sostenido esta investigación seresume en la importancia de evaluar la implementaciónde las políticas públicas, dado que el dinamismo de esce-narios con diversos intereses en juego rápidamente puedeviciar o desactualizar las herramientas o desviarlas de suobjetivo inicial.


En un principio surgieron las acreditaciones comouna forma de asegurar la calidad en el marco del incre-mento desmedido de programas de posgrados. En los añosrecorridos desde la creación de la CONEAU, el organis-mo se ha consolidado en su función de ente acreditador ytodas las instituciones de educación superior han acatadola obligatoriedad de evaluación establecida por ley. Actual-mente el nuevo desafío para la consolidación de este siste-ma reside en asegurar la calidad de sus procesos de medi-ción. Es decir, habiendo consolidado los principios quefundamentan la ley, hay que trabajar por el cumplimientoreal, y no solo formal, de los objetivos de acreditación. Yestos procedimientos ganarán mayor calidad a medida quepermitan a los diferentes actores del sistema universitario,cada uno con diferentes especialidades e intereses, partici-par en su diseño e implementación.

En conclusión, los hallazgos de esta investigación seconvierten en información que puede alimentar el procesode acreditación para mejorar su implementación y conso-lidar la cultura de la evaluación tanto en la CONEAU comoen las instituciones de educación superior. La disponibili-dad de datos bien producidos es un material imprescindi-ble para la toma de decisiones, por lo tanto, es esencial quelos procesos de medición de la calidad sean evaluados ygocen de la validez y confiabilidad necesarias para otorgarlegitimidad a la política pública en cuestión.

9.4. Futuras líneas de investigación

A partir de los hallazgos sobre amenazas a la validez yconfiabilidad en la medición de la acreditación de pos-grados, quedan abiertas futuras líneas de investigaciónque se enfoquen en el mejoramiento de todo el proceso,


atendiendo tanto a las necesidades conceptuales y episte-mológicas, como las metodológicas. Para ello es necesa-rio trabajar sobre la base de consensos de todos los par-ticipantes del proceso, tanto evaluados (las institucionesde educación superior) como evaluadores (la CONEAU), ycon el soporte de especialistas en medición y en las dife-rentes disciplinas.

Trabajar por el mejoramiento de los procesos demedición en el ámbito nacional permitirá abrir la acredi-tación a futuros desafíos de la educación en un mundoen el cual aumenta progresivamente la movilización deestudiantes y profesionales entre los países: ¿cómo garan-tizamos la calidad de las carreras a nivel internacional? Serequerirá aquí sumar un elemento más de influencia a lahora de definir la variable y construir y aplicar los instru-mentos de medición: las diferencias entre los países.

En conclusión, la instalación de una cultura de la eva-luación es una puerta ya abierta, pero con un largo caminoaún por recorrer para su consolidación.


Referencias bibliográficas

Alcántara, Armando y Mónica Aparecida da Rocha Silva(2006), “Semejanzas y diferencias en las políticasde educación superior en América Latina: cambiosrecientes en Argentina, Brasil, Chile y México”, en ReisSilva, Joáo dos; Joáo Oliveira Ferreira, y Deise Man-cebo (orgs.), Reformas universitarias: dimensiones yperspectivas. Campinas-São Paulo, Átomo e Alinea.

Aguilar Villanueva, Luis F. (1992), “Estudio introductorio”,en El estudio de las políticas públicas. México, MiguelÁngel Porrua, pp. 2-29.

Babbie, Earl R. (2000), Fundamentos de la investigaciónsocial. México, International Thomson.

Barcos, Santiago José (2008), “Reflexiones acerca de los sis-temas de información universitarios ante los desafíosy cambios generados por los procesos de evaluacióny acreditación”, en Avaliação (Campinas). Vol. 13, N.°01, pp. 209-244.

Barreyro, Gladys Beatriz (2006), “Evaluación de la edu-cación superior brasileña: el SINAES”, en Revista deEducación Superior. Distrito Federal de México: Aso-ciación Nacional de Universidades e Instituciones deEducación Superior (ANUIES), Año/Vol. XXXV, N.°137, pp. 63-73.

Barreyro, Gladys Beatriz y Lorena Lagoria Silvana (2010),“Procesos de evaluación y acreditación de la calidadde la educación superior en América Latina. Los casosde Argentina, Brasil, Uruguay y Paraguay y la conver-gencia en el ámbito del Mercosur”, en Congreso Ibe-roamericano de Educación Metas 2021 del 13 al 15 deseptiembre de 2010.

175

Betancur Bernotti, Vicente (2000), “Reforma de la gestiónpública y políticas universitarias”, en Nueva Sociedad.Buenos Aires , N.° 165, pp. 58-72.

Cassasus, Juan (1997), “Estándares en educación: con-ceptos fundamentales”, Documentos Laboratorio Lati-noamericano de Evaluación de la Calidad de la Edu-cación, UNESCO.

Clark, Burton (1983), El sistema de educación superior.Una visión comparativa de la organización acadé-mica. México, Universidad Autónoma Metropolitana-Azcapoltzalco.

Claverie, Julieta, Giselle González y Leticia Pérez (2008),“El sistema de evaluación de la calidad de la edu-cación superior en la Argentina: el modelo de laCONEAU. Alcances y límites para pensar la mejora”,en Revista Iberoamericana de Evaluación Educativa.Vol. 1, N.° 2.

CONEAU (2012), “Contribuciones para un análisisdel impacto del sistema de evaluación yacreditación”, Buenos Aires: CONEAU. Consultadodesde https://bit.ly/2DdbgFb

Corengia, Ángela (2005), “Estado, mercado y universidaden la génesis de la política de evaluación y acredi-tación universitaria argentina (1991-1995)”, Tesis deMaestría en Educación, Universidad de San Andrés,Escuela de Educación, Argentina.

Corengia, Ángela (2010), “Impacto de la política de eva-luación y acreditación de la calidad en universidadesde la Argentina. Estudio de casos”, Tesis de Doctoradoen Educación, Universidad de San Andrés, Escuela deEducación, Argentina.

de la Garza Vizcaya, Eduardo (2004), “La evaluación edu-cativa”, en Revista mexicana de investigación educati-va. México DF, Vol. IX, N.° 23, pp. 807-816.


https://bit.ly/2DdbgFb

Dias Sobrinho, José (2008), “Calidad, pertinencia y rele-vancia: relación con el resto del sistema y la sociedad;responsabilidad social de la educación superior”, enGazzola, Ana Lucía y Sueli Peris, Hacia una políticaregional de aseguramiento de la calidad en educaciónsuperior para América Latina y el Caribe. Caracas,IESALC, pp. 17-55.

Dill, David (1999) “Academic accountability and universityadaptation: The architecture of an academic learningorganization”, en Higher Education. 38, N.° 2, pp.127-154.

Domínguez, Graciela Amalia (2011), “Cambios en el patrónde relaciones entre el Estado y las universidades:el modelo evaluador en Argentina”, en V CongresoNacional de Ciencia Política organizado por la Socie-dad Argentina de Análisis Político del 14 al 17 denoviembre de 2001.

Fernández, Leonardo (2009), “Evolución de los posgradosuniversitarios en Argentina entre 2002-2007”, Docu-mento de Trabajo del Área de Estudios de EducaciónSuperior de la Universidad de Belgrano, Buenos Aires.

Fernández Lamarra, Norberto (2003a), “Evaluación yacreditación en la educación superior argentina”,en Segundo Congreso Argentino de AdministraciónPública, Sociedad, Estado y Administración.

Fernández Lamarra, Norberto (2003b), La educación supe-rior argentina en debate: situación, problemas y pers-pectivas. Buenos Aires, Eudeba: IESALC-Unesco.

Fernández Lamarra, Norberto (2008), “Modelos y sistemasde evaluación y acreditación de la educación supe-rior. Situación y perspectivas para el mejoramientode la calidad y la integración regional”, en Gazzola,Ana Lucía y Sueli Peris, Hacia una política regional


de aseguramiento de la calidad en educación superiorpara América Latina y el Caribe. Caracas, IESALC, pp.59-105.

Filguer, José Luis (2013), Las universidades del CRUP frentea la reforma de la normativa de acreditación de pos-grados. Buenos Aires, Consejo de Rectores de Univer-sidades Privadas.

Filmus, Daniel (2005), “Concertación educativa y gober-nabilidad democrática en América Latina”, en RevistaIberoamericana de Educación. Organización de Esta-dos Iberoamericanos para la Educación, la Cienciay la Cultura, N.º 12. Consultado desde https://bit.ly/2yIc80F

Gallardo, Ismael, Juan Sánchez y Marcelo Leiva (2011),“Midiendo calidad en educación superior: análisis deconfiabilidad y validez de una encuesta de certifica-ción de calidad del pregrado, versión estudiantes”, enEstudios Pedagógicos. XXXVII, N.° 2, pp. 109-121.

García Fanelli, Ana María (2005), Universidad, organiza-ción e incentivos: desafíos de la política de financia-miento frente a la complejidad institucional. BuenosAires, Fundación OSDE.

Ghedin, Elisabetta y Debora Aquario (2008), “Movingtowards multidimensional evaluation of teaching inhigher education: A study across four faculties”, enHigher Education. Vol. 56, N.° 5, pp. 583-597.

Gonzalez Ramírez, Teresa (2000). Evaluación y gestión de lacalidad educativa. Un enfoque metodológico. Málaga,Ediciones Aljibe.

House, Ernest R. (2000), Evaluación, ética y poder. Madrid,Morata.


Jaime, Fernando Martín, Gustavo Dufour, Martín Alessan-do y Paula Amaya (2013), Introducción al análisis depolíticas públicas. Buenos Aires, Instituto de CienciasSociales y Administración de la Universidad NacionalArturo Jaureche.

Kerlinger, Fred (2002), Investigación del comportamiento.Mexico, McGraw-Hill.

Kekale, Jouni (2000), “Quality assessment in higher disci-plinary settings”, en Higher Education. Vol. 40, N.° 4,pp. 465-488.

Korn, Francis (1973), “Introducción. El significado deltérmino variable en sociología”, en Francis Korn yManuel Mora y Araujo (coord.), Conceptos y varia-bles en la investigación social. Buenos Aires, EdicionesNueva Visión.

Krotsch, Pedro (2002), “El proceso de formación e imple-mentación de las políticas de evaluación de la calidaden la Argentina”, en Pedro Krotsch (coord.), La Univer-sidad Cautiva. Legados, Marcas y Horizontes. La Plata,Al Margen & UNLP.

Márquez, Ángel Diego y Mónica Marquina (1997), Evalua-ción, acreditación, reconocimiento de títulos, habilita-ción: enfoque comparado. Buenos Aires, CONEAU.

Marquina, Mónica (2012), “Yo te evalúo, tú me evalúas…Estado, profesión académica y mercado en la acredi-tación de carreras en Argentina”, Tesis de Doctoradoen Educación Superior, Universidad de Palermo.

Marquis, Carlos (2009), “Posgrados y políticas universi-tarias. Consideraciones sobre el caso argentino”, enRevista Argentina de Educación Superior. Año 1, N.º 1.

Mayntz, Renate, Kurt Holm, Peter Hubner (1969), “Lamedición”, en Introducción a los métodos de la sociolo-gía empírica. Madrid, Editorial Alianza.


Menghini, Raúl; María C. Campo, Iris Richmond y YessicaVisotsky (2007), “Modelos de evaluación institucionaluniversitaria”, en INPEAU – Instituto de Pesquisas eEstudos em Administração Universitária. Consultadodesde https://bit.ly/2JqxxzP.

Mintzberg, Henry (2000), Diseño de organizaciones eficien-tes. Buenos Aires, El Ateneo.

Moses, Ingrid (1990), “Teaching, Research and Scholarshipin Different Disciplines”, in Higher Education. Vol. 19,N.° 3, pp. 351-375.

Nicoletti, Javier Augusto (2013), “La evaluación de la cali-dad educativa. Investigación de base evaluativa encentros de educación superior”, en Revista Argentinade Educación Superior. Año 5, N.° 6, pp. 189-202.

Oszlak, Oscar (1999), “De menor a mejor: el desafío de lasegunda reforma del Estado”, en Revista Nueva Socie-dad. N.° 160, 1999.

Padua, Jorge (1979), Técnicas de investigación aplicadas alas ciencias sociales. México, Fondo de Cultura Eco-nómica.

Perez Lindo, Augusto (1993). Teoría y evaluación de la edu-cación superior. Buenos Aires, Aique.

Pick de Weiss, Susan (1994), Cómo investigar en cienciassociales. México, Trillas.

Pires, Sueli y María José Lemaitre (2008). “Sistemas deacreditación y evaluación de la educación superior enAmérica Latina y el Caribe”, en Gazzola, Ana Lúciay Axel Dridiksson (editores) Tendencias de la Educa-ción Superior en América Latina y el Caribe. Caracas,Instituto Internacional de la UNESCO para la Educa-ción Superior en América Latina y el Caribe (IESALC),Capítulo 8.


Powell, Walter y Di Maggio, Paul (1999), El nuevo institucio-nalismo en el análisis organizacional. México, Fondode Cultura Económica.

Proyecto ALFA (2009), “Marco de referencia para el pro-yecto sobre aseguramiento de la calidad”. Consultadodesde https://bit.ly/2Jrmuq6.

Puelles, Manuel y Raúl Urzúa (2005), “Educación, gober-nabilidad democrática y gobernabilidad de los siste-mas educativos”, en Revista Iberoamericana de Educa-ción. Organización de Estados Iberoamericanos parala Educación, la Ciencia y la Cultura, N.° 12. Consulta-do desde https://bit.ly/2Js2PWN.

Pugliese, Juan Carlos (2001), “La calidad en el sistema uni-versitario argentino”, en Bris, Mario Martín (coord.),La calidad educativa en un mundo globalizado, inter-cambio de experiencias y perspectivas. Madrid, Univer-sidad de Alcalá de Henares, Colección Aula Abierta,pp. 161-180.

Ravela, Pedro (2006a), “Qué son las evaluaciones educati-vas y para qué sirven”, en Fichas didácticas para com-prender las evaluaciones educativas. Programa de Pro-moción de la Reforma Educativa en América Latina yel Caribe (PREAL), Ficha N.° 1.

Ravela, Pedro (2006b), “Cómo se hacen las evaluacioneseducativas”, en Fichas didácticas para comprender lasevaluaciones educativas. Programa de Promoción dela Reforma Educativa en América Latina y el Caribe(PREAL), Ficha N.° 2.

Ravela, Pedro (2006c), “Cuáles son los principales pro-blemas comunes a todas las evaluaciones educativas”,en Fichas didácticas para comprender las evaluacio-nes educativas. Programa de Promoción de la Refor-ma Educativa en América Latina y el Caribe (PREAL),Ficha N.° 3.


Ríos, Cristina (2001), “Procesos de acreditación y evalua-ción en los EU y México. Un estudio comparativo”,en Revista de Educación Superior ANUIES. Vol. 30,N.° 119.

San Martín, Raquel (ed.) (2014), Evaluación y acreditaciónuniversitaria: actores y políticas en perspectiva. Bue-nos Aires: Universidad de Palermo.

Sizer, John; Arnold Spee y Ron Bormans (1992), “The role ofperformance indicators in higher education”, en Hig-her Education. Vol. 4, N.° 2, pp- 133-155.

Selltiz, C., M. Jahoda, M. Deutsch y S.W. Cook (1965), Méto-dos de investigación en las relaciones sociales. Madrid,Ediciones Rialp.

Sudman, Seymour (1996), Thinking about answers: theapplication of cognitive processes to survey methodo-logy. San Francisco, Jossey-Bass.

Tamayo Sáez, Manuel (1997), “El análisis de las políticaspúblicas”, en Bañón R. y E. Carrillo (comps.) La nuevaadministración pública. Madrid, Alianza Universidad.

Tiana Ferrer, Alejandro (1997), “Tratamiento y usos de lainformación en la evaluación”, Organización de Esta-dos Americanos para la Educación, la Ciencia y laCultura-UNED.

Tunnermann Bernheim, Carlos (2003), “Calidad, eva-luación institucional, acreditación y sistemas nacio-nales de acreditación”, Instituto Latinoamericanode Educación para el Desarrollo. Consultado des-dehttps://bit.ly/2ABKrIz

Vidovich, Lesley (2002), “Quality assurance in Australianhigher education: Globalisation and steering at a dis-tance”, en Higher Education. Vol. 43, N.° 3, pp. 391-408.

Villanueva, Ernesto (2002), “La CONEAU y el mejoramien-to de la calidad”, en Avaliação (Campinas). Vol. 07,N.° 01, pp.73-78.


Villanueva, Ernesto (2008), “Evaluación y acreditación enAmérica Latina”, Proyecto 6×4 UEALC, Informe Final.Consultado desde https://bit.ly/2qlKvGk.

Wainerman, Catalina (comp.) (1976), Escalas de mediciónen Ciencias Sociales. Buenos Aires, Nueva Visión.

Leyes

Argentina, (1995), Ley N.º 24.521: Ley de Educación Supe-rior.

Argentina, Ministerio de Cultura y Educación (1997), Reso-lución 1168/97: Educación Superior, carreras de pos-grado: estándares y criterios.

Argentina, Ministerio de Cultura y Educación (2011), Reso-lución 160/11: Educación Superior, carreras de pos-grado: estándares y criterios.

Argentina, CONEAU (2005), Ordenanza 45: Aprobar losprocedimientos para la aprobación de las carreras deposgrado.

Argentina, CONEAU (2010), Ordenanza 56: Aprobar losprocedimientos para la evaluación de proyectos decarreras de posgrado al solo efecto del reconocimien-to oficial provisorio del título.

Argentina, CONEAU (2013), Ordenanza 59: Aprobar losprocedimientos para la acreditación de carreras deposgrado en funcionamiento.

Páginas web

CONEAU: http://www.coneau.gov.ar/CONEAU/


http://www.coneau.gov.ar/CONEAU/

Anexo

Procedimiento para la acreditación de carreras de posgrado

La siguiente descripción fue realizada de acuerdo a la orde-nanza de CONEAU 59/13 cuyo asunto establece “Aprobarlos procedimientos para la acreditación de carreras de pos-grado en funcionamiento”.

Paso 1: convocatoria pública de acreditación de posgrados

Se hace una difusión pública y se informa particularmentea las instituciones universitarias que estén inscriptas en elRegistro Público de Centros de Investigación e Institucio-nes de Formación Profesional Superior, al CIN y al CRUP.

Paso 2: formalización de la acreditación

Consiste en el ingreso de la solicitud formal en una con-vocatoria. No implica que necesariamente se efectivice elingreso, sino que tiene solo un alcance informativo comopaso previo a la presentación formal de las carreras a acre-ditar. El objetivo es obtener datos sobre las carreras a eva-luar. Esta presentación se realiza a través de un formu-lario electrónico que se encuentra en la página web deCONEAU y cuyo ingreso requiere de un usuario y contra-seña específicos.

185

Paso 3: presentación de la solicitud

La carrera está finalmente incluida en un proceso de acre-ditación si la solicitud formal de acreditación ingresa en laconvocatoria de acuerdo a los requisitos que se establez-can en la resolución de convocatoria correspondiente.

Paso 4: condiciones de ingreso

Se verifica por mesa de entrada si se están cumpliendotodos los requerimientos formales, como así también laintegridad y el correcto funcionamiento del soporte tecno-lógico. Si alguna condición no fuere cumplida, la mesa deentrada informará y dará un plazo perentorio de diez díashábiles desde la notificación al completar subsanarla.

Paso 5: medidas preparatorias

La CONEAU aprueba la nómina de los Comités de Paresde acuerdo al número y tipo de carrera que hayan sidopresentadas. Se comunica a la máxima autoridad de la Uni-versidad sobre los posibles integrantes.

Las unidades pueden hacer observaciones a estanómina y recusar algún miembro en el plazo de diez díashábiles. En el caso de recusaciones, se debe justificar ladecisión con los antecedentes apropiados que sean cau-sales de inhabilitación según el Código de ProcedimientoCivil y Comercial de la Nación, o por falta manifiesta deméritos académicos o profesionales para evaluar el nivelen cuestión.


Paso 6: actuación de los Comités de Pares

La CONEAU designa y convoca a un determinado Comitéde Pares, que además recibe apoyo técnico. Este Comitépuede realizar visitas a la sede de la carrera.

El Comité de Pares deberá evaluar de acuerdo a losestándares y criterios de la RM 160/11 y los instructivoscomplementarios. Si la carrera cumple con dichos están-dares, se recomienda su acreditación y categorización (siasí lo hubiera sido solicitado por la institución). Si no cum-ple con los estándares y criterios, se recomienda dar vistaa la institución para que elabore una respuesta que subsa-nen las insuficiencias identificadas.

Paso 7: proceso de toma de decisiones

Se pueden tomar dos tipos de decisiones según el informede los Comités de Pares:

1. Resolución de acreditación: la CONEAU analiza elinforme del Comité de Pares, con la posibilidad desolicitar más información o incluso convocar a otroComité o realizar consultas a expertos. Si finalmentese decide la acreditación, se fija la vigencia, se notificaa la unidad y se publica, y si corresponde se categori-za la carrera. Esta resolución puede incluir recomen-daciones adicionales y compromisos para el mejora-miento, y la categorización si así se hubiese solicitado.

2. Vista del Informe de Evaluación: cuando el Comitéde Pares recomienda la no acreditación, la CONEAUda vista a la unidad académica para que se subsa-nen las debilidades dentro de los 30 días corridos.La unidad también puede decidir retirar la solicitud


de acreditación. En la “respuesta a la vista” la máxi-ma autoridad de la institución debe informar a laCONEAU sobre las mejoras a implementar haciendoreferencia también a los medios y recursos para alcan-zarlas. Esta respuesta es evaluada para que vuelva aconsiderar su acreditación. En caso de que la insti-tución prefiera retirar la solicitud, se deberá informarpor nota. En caso que la unidad no responda dentrode los treinta días, la CONEAU resuelve la no acredita-ción por resolución.

Paso 8: reconsideración

Luego de la resolución de la CONEAU, se puede solicitar lareconsideración dentro de los treinta días corridos desde lanotificación utilizando el formato que establezca el orga-nismo y de acuerdo al mismo procedimiento que se uti-liza para la respuesta a la vista. Esta presentación debehacer referencia expresa a las debilidades notificadas enla resolución.

La reconsideración agota toda vía administrativa deacreditación.

El punto 9 de la ordenanza establece los plazos devigencia de la acreditación que se describen a continua-ción: carreras en funcionamiento: acreditación por tresaños la primera vez y seis años la segunda vez si es quecuentan con egresado. También le corresponde una vigen-cia de seis años a los posgrados que fueron evaluados favo-rablemente como carrera nueva (es decir, lo que se deno-minaba proyecto en la RM 1168/97) y luego como carreraen funcionamiento con egresados.


El punto 10 de la ordenanza establece las posiblescategorías a obtener mediante solicitud expresa de la ins-titución. A si son excelentes, B si son muy buenas y C sison buenas. Si la carrera en funcionamiento no cumplió unciclo completo o no cuenta con egresados, las categorías seidentifican como An, Bn o Cn.

La ordenanza de CONEAU 56/10 regula los procedi-mientos para la evaluación de proyectos de carreras deposgrado al solo efecto del reconocimiento oficial proviso-rio del título. A pesar de que el procedimiento es similar,a continuación se mencionan algunas diferencias respectoa la ordenanza 59/13:

• Las solicitudes de evaluación de proyectos (tener encuenta que el término “proyecto” fue reemplazado por“carrera nueva” en la RM 160/11) al solo efecto delreconocimiento oficial provisorio del título deben pre-sentarse en la última semana de los meses de abril uoctubre de cada año.

• En caso que la mesa de entrada verifique que faltaalguno de los componentes exigidos en la etapa de“condiciones de ingreso”, se dará un plazo perentoriode cinco días corridos a partir de la notificación a lainstitución para subsanar el error.

• No se hace mención a la posibilidad de observación yrecusación de las instituciones de educación superiora la nómina de pares publicada por la CONEAU.

• En los resultados posibles, se dispone que la CONEAUpuede aprobar un dictamen de hacer lugar a la soli-citud de reconocimiento oficial provisorio del títuloque puede incluir recomendaciones para el mejora-miento de la calidad de la propuesta. También puededar respuesta a la vista a la institución, la cual deberesponder dentro de los diez días hábiles a contar des-de la fecha de toma de vista del expediente. En este


último caso, la institución puede responder aclarandoo precisando aspectos que ya hayan sido expuestossin modificar la propuesta original; pedir formalmen-te el retiro de la solicitud de reconocimiento; o noresponder a la vista (en este caso, la CONEAU resol-verá al respecto).

• Una vez iniciadas las actividades académicas, estascarreras nuevas están obligadas a solicitar una nuevaacreditación en la convocatoria que la CONEAU esta-blezca. En caso que haya tenido un dictamen favo-rable en este proceso de solicitud de reconocimien-to oficial provisorio del título, se puede otorgar enla acreditación una vigencia de seis años siempre ycuando cuente con egresados.


EL SISTEMA DEASEGURAMIENTO DELACALIDAD · tintas áreas del conocimiento, acorde a la diversidad de...

Documents

Transcript of EL SISTEMA DEASEGURAMIENTO DELACALIDAD · tintas áreas del conocimiento, acorde a la diversidad de...