ISSN 1887-4592

382
1 ISSN 1887-4592 Vol. 13 nº 3 2015

Transcript of ISSN 1887-4592

  • 1

    ISSN 1887-4592

    Vol. 13 n 32015

  • REDURevista de Docencia Universitaria

    Vol 13 N3Octubre - Diciembre, 2015

  • REDURevista de Docencia Universitaria

    Vol 13 N3Octubre-Diciembre, 2015

    Editores de este nmero: Bernardino Salinas Fernndez (Universitat de Valncia)Jos Mara Maiques March (Universitat Politcnica de Valncia)Noelia Ibarra Rius (Universitat de Valncia)

    Sede editorial: Facultad de Ciencias de la EducacinRa Xos Mara Surez Nez, s/n. Campus Vida15782 Santiago de Compostela

    Telfono con extensin: +34 98 156 31 00 Ext.13825Fax: +34 98 153 04 94 Edita:RED-U (Red Estatal de Docencia Universitaria)http://www.red-u.org

    Edicin on-linehttp://www.red-u.net

    Maquetacin: Triskelion Diseo Editorial.

    Fecha de edicin: 2015ISSN: 1887-4592

  • EQUIPO EDITORIAL

    DirectorMiguel A. Zabalza Beraza, Profesor catedrtico de la Universidad de Santiago de Compostela ([email protected])

    Secretaria de DireccinManuela Raposo, Profesora Titular de la Universidad de Vigo ([email protected])

    Celso Rodrguez, Profesor Titular de la Universidad de Santiago de Compostela ([email protected] ).

    Yesshenia Vilas Merelas, Investigadora en la Universidad de Santiago de Compostela ([email protected] )

    Secretara tcnicaPablo Csar Muoz Carril, Profesor de la Universidad de Santiago de Compostela ([email protected])

    Asesor TcnicoD. Miguel Zapata, Profesor de la Universidad de Alcal de Henares ([email protected])

    MaquetacinEnrique Mateo, Triskelion Diseo Editorial ([email protected])

    Asesores Editoriales RED-UAmparo Fernndez March, Presidenta de RED-U (ICE - Universidad Politcnica de Valencia) ([email protected])

    Araceli Adam Salvatierra, Secretaria de RED-U (Universidad Politcnica de Catalunya) ([email protected])

    COMIT CIENTFICODr. J. Ignacio Aguaded, Universidad de Hueva, EspaaDra. Itzar Alkorta Idiakez, Universidad del Pas Vasco, EspaaDr. Manuel Area Moreira, Universidad de La Laguna, EspaaDr. Jos Arellano, Universidad Autnoma de Mxico, Mxico D.F.Dr. Ken Bain, University of Columbia, EEUUDr. Antonio Bartolom, Universitat de Barcelona, EspaaDra. Ma. Elena Bergman, University of Stockholm, SwedenDr. Fernando Blanco, Universidad de Zaragoza, EspaaDr. Antonio Bolivar, Universidad de Granada, EspaaDr. Carlos Alberto Brailovsky, Universidad Laval - Quebec, CanadDra. Paula Carlino, Universidad de Buenos Aires, ArgentinaDr. Vicente Carrera, Universidad Autnoma de Puebla, MxicoDr. Manuel Castillo Nio, Universidad de Chile, ChileDr. Manuel Cebrin de la Serna, Universidad de Mlaga, EspaaDr. Enrique Correa, University of Sherbrooke, CanadDra. Mara Isabel De Almeida, Universidad de Sao Paulo, Brasil

  • Dr. Jean Marie De Ketele, Universit de Lovaine, Blgica.Dr. ngel Daz Barriga, Universidad Nacional Autnoma de Mxico, MxicoDr. Roberto Di Napoli, Goldsmiths College, University of London, Reino UnidoDr. Juan Manuel Escudero, Universidad de Murcia, EspaaDra. Rosa Esteban, Universidad Autnoma de Madrid, EspaaDra. Mnica Freixas, Universitat Autnoma de Barcelona, EspaaDra. Adriana Gewrec, Universidade de Santiago de Compostela, EspaaDra. Mer Gisbert, Universitat Rovira i Virgili, Tarragona, EspaaDra. Isabel Flvia Gonalves Vieira, Universidade do Minho, PortugalDr. Fermn Gonzlez, Universidad Pblica de Navarra, Pamplona, EspaaDr. Antoni Font Ribas, Universitat de Barcelona, EspaaDr. Joao Formosinho, Universidade Catlica de Lisboa, PortugalDr. Franco Frabbonni, Universidad de Bolonia, ItaliaDr. Maria Lucia Giovanini, Universidad de Bologna, Italia Dra. Mercedes Gonzlez Sanmamed, Universidade de A Corua, EspaaDr. Gnter L. Huber, Universidad de Tbingen, AlemaniaDra. Mara Soledad Ibarra Siz, Universidad de Cdiz, EspaaDra. Begoa Learreta Ramos, Universidad Europea de Madrid, EspaaDra. Carlinda Leite, Universidade do Porto, PortugalDr. Clemente Lobato, Universidad Pas Vasco, EspaaDra. Clementina C. Lobato, Instituto Piaget, PortugalDra. Jos Mara Maiquez, Universidad Politcnica de Valencia, EspaaDr. Carlos Marcelo Garca, Universidad de Sevilla, EspaaDr. Mario Martn Bris, Universidad de Alcal de Henares, EspaaDr. Miquel Martnez Martn, Universitat de Barcelona, EspaaDr. Joan Mateo, Universitat de Barcelona, EspaaDr. Antonio Medina, Universidad Nacional de Educacin a Distancia, Madrid, EspaaDr. Pasquale Moliterni, Universidad de Roma, ItaliaDr. Francisco Michavila, Universidad, Politcnica de Madrid, EspaaDra. Maria Carmen Monreal Gimeno, Universidad Pablo de Olavide, EspaaDr. Carlos Moya Ureta, Instituto Latinoamericano de Estudios Sociales, ChileDra. Angelica Natera , Universidad de Harvard, EEUUDr. Antonio Nvoa, Universidade de Lisboa, PortugalDr. Alberto Padilla, Universidad Autonoma de Mxico, Mxico D.F.Dr. Javier Paricio Royo, Universidad de Zaragoza, EspaaDra. ngeles Parrilla Latas, Universidade de Vigo, EspaaDr. Philippe Perrenoud, Univ. De Genve, SwitzerlandDr. Julio Herminio Pimenta, Universidad Anhuac, Mxico D.F.Dra. Alicia Rivera, Universidad Pedaggica Nacional, Mxico D.F.Dr. Luis Romero, Universidad de Chile, Santiago de ChileDr. Joan Ru, Universitat Autnoma de Barcelona.Dr. Ronny Ruiz-Navarrete, Universidad de Costa Rica, Costa RicaDr. Jos Snchez Santamara, Universidad de Castilla-La Mancha, EspaaDra. ngeles Snchez-Elvira Paniagua, Universidad Nacional de Educacin a Distancia, EspaaDra. Liliana Olga Sanjurjo, Universidad de Rosario, ArgentinaDra. Teresa Susinos, Universidad de Santander, EspaaDra. Inma Torra Bitlloch, Universitat Politcnica de Catalunya, EspaaDr. Felipe Trillo Alonso, Universidade de Santiago de Compostela, EspaaDr. Franesc Vallverd, Universitat Politcnica de Catalunya, EspaaDra. Concepcin Yiz, Universidad de Deusto, Espaa

  • 7

    REDU. Revista de Docencia Universitaria, mayo-agosto 2015, 13 (3), 1-10

    Sumario

    Miscelnea

    Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carreraDavid Hortigela Alcal, Vctor Abella Garca, ngel Prez Pueyo ............................................................................13

    La literatura cientfica sobre rankings universitarios: una revisin sistemticaMarina Toms Folch, Mnica Feixas, M. Dolores Bernabeu-Tamayo, Jos M Ruiz Ruiz...........................................33

    Los simuladores de empresa como instrumentos docentes: un anlisis de su aplicacin en el mbito de la direccin de marketingAntonio Chamorro Mera, Francisco Javier Miranda Gonzlez, Jos Manuel Garca Gallego .....................................55

    Un modelo para disear aprendizajes mediante proyectos multidisciplinaresSlvia Espinosa-Mirabet, Marianna Soler i Ortega, Maria Llusa Escoda, Jaume Puig-Bargus, Ins Ferrer Real ......73

    REDURevista de Docencia Universitaria

    Vol 13 N3Octubre - Diciembre, 2015

  • 8

    REDU. Revista de Docencia Universitaria, mayo-agosto 2015, 13 (3), 1-10

    SUMARIO

    Anlisis de los recuerdos de los estudiantes sobre los contenidos de la Titulacin de PedagogaAna Torres Soto, Mnica Vallejo Ruiz, Nicols Martnez Valcrcel ............................................................................89

    Enseando y aprendiendo a escribir en la universidad: Cuando los revisores son los compaerosManuela Martnez-Lorca, Carmen Zabala-Baos .....................................................................................................105

    Percepciones hacia el aprendizaje cooperativo del alumnado del Mster de Formacin del Profesorado de SecundariaPilar Gil Molina ........................................................................................................................................................125

    La importancia del aprendizaje reflexivo en el Prcticum de Magisterio: una revisin de la literaturaGustavo Gonzlez Calvo, Jos J. Barba, Henar Rodrguez Navarro .........................................................................147

    Procedimientos de evaluacin de estudiantes: cambios de la Licenciatura al Grado?Mara Luisa Garca Hernndez, Mnica Porto Currs, Nicols Martnez Valcrcel ..................................................171

    Los Trabajos Fin de Grado: una herramienta para el desarrollo de competencias transversales en la Educacin SuperiorFrancisco Zamora Polo , Jess Snchez Martn ......................................................................................................197

    La gestin universitaria: dificultades en el desempeo del cargo y necesidades de formacinJosefa Rodrguez Pulido, Josu Artiles Rodrguez, Mara Victoria Aguiar Perera ...................................................213

    Experiencias

    Modos de leer y escribir en Historia: percepciones de alumnos y profesores de la formacin docente inicialManuela Cartolari, Elena Molina ..............................................................................................................................235

    Utilizacin de Aprendizaje Basado en Proyectos en la coordinacin de asignaturas en el Grado en Ingeniera Agroalimentaria y del Medio RuralM Tatiana Pina Desfilis, Ernestina Aguilar Fenollosa, Gemma Camaes Querol, Ana I. Marqus Marzal, Alma M Rodrguez-Snchez, Emma Fernndez Crespo, Eugenio Llorens Vilarrocha, Loredana Scalschi, Mara Jess Mez Pitarch, Josep A. Jacas Miret, Begonya Vicedo, Leonor Lapea ..............................................265

    Baja SAE USB como caso de aprendizaje orientado por proyectos desde la perspectiva del paradigma de la complejidadRenzo Boccardo Irigoyen .........................................................................................................................................289

  • RINAUDO, C. y TRILLO, F. 9

    REDU. Revista de Docencia Universitaria, mayo-agosto 2015, 13 (3), 1-10

    Aprendizaje transformativo y programas de investigacin en el desarrollo docente universitarioRoberto Espejo Leupin, Jos Mauricio Gonzlez-Surez .........................................................................................309

    Concepciones de docentes sobre su profesin: una aproximacin cualitativa al pregrado universitarioDaniel Eduardo Garca Surez .................................................................................................................................331

    Necesidades de formacin del profesor universitario en competencias relacionadas con la accin tutorialJos Manuel Aguilar-Parra, Antonio Alas-Garca, Joaqun lvarez, Juan Miguel Fernndez-Campoy, Eloy Rafael Prez-Gallardo, Antonia Irene Hernndez Rodrguez ...........................................................................357

    Recensiones

    La formacin lectora y literaria Miquel A. Oltra Albiach ............................................................................................................................................379

  • REDURevista de Docencia Universitaria

    Vol 13 N3

    2015

    MISCELNEA

  • 13

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Vol. 13 (3), Octubre-Diciembre 2015, 13-32 ISSN: 1887-4592

    Fecha de recepcin: 10-06-2014 Fecha de aceptacin: 31-05-2015

    Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio

    y final de carrera

    David Hortigela AlcalVctor Abella Garca

    Universidad de Burgos (Espaa)

    ngel Prez PueyoUniversidad de Len (Espaa)

    Resumen

    En este trabajo se presentan los resultados acerca de la percepcin que tiene el alumnado sobre los procesos de evaluacin formativa llevados en cabo en el mbito universitario, incidiendo en la comprensin del sistema y en el seguimiento llevado a cabo a lo largo del curso en relacin a estudiantes que cursan asignaturas, por un lado, de 1 y 2 curso y, por otro, de 3 y 4. La muestra utilizada es de 3460 estudiantes, correspondientes a 51 asignaturas de 17 Universidades espaolas. Se han dividido 2 grandes

    Students perceptions on formative assessment: differences between groups at the beginning and at the end of degree

    David Hortigela AlcalVctor Abella GarcaUniversidad de Burgos (Espaa)

    ngel Prez PueyoUniversidad de Len (Espaa)

    Abstract

    In this paper the results on the perception of the students on formative assessment processes carried out in the university are presented, focusing on understanding the system and monitoring conducted throughout the course in relation to this work students enrolled subjects, first, 1st and 2nd year and, second, 3rd and 4th. The sample used is 3460 students, corresponding to 51 subjects of 17 Spanish universities; in all were conducted formative evaluation processes. The students were divided in 2 groups, one called initial training (1764

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    14

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    students) and one called final course (1696 students). We used a validated questionnaire on evaluation methodology and initial training, in which different items related to formative assessment specified. It has employed a quantitative analysis, divided into descriptive: frequencies and percentages and inferential: contingency tables and 2 and ANOVA, using this latter technique based on the positive perception of the assessment based on learning processes items and the number of times the student is enrolled in courses. The findings of this research show: a) formative assessment systems are perceived positively by students; b) the quality of the tasks required increases, recognizing that greater involvement is needed for work and an understanding of the system from the beginning does not build; c) the number of times the student is enrolled in the course not directly affects their perception of this type of process.

    Key words: Formative assessment, Student involvement in the process, Comparison courses, Understanding the system, Individual monitoring, Higher education.

    grupos, uno denominado cursos iniciales (1764 estudiantes) y otro denominado cursos finales (1696 estudiantes). Se ha utilizado un cuestionario validado sobre metodologa y evaluacin en formacin inicial, en el que se especifican diferentes tems vinculados a la evaluacin formativa. Se ha empleado un anlisis cuantitativo, dividindose en descriptivo: frecuencias y porcentajes e inferencial: tablas de contingencia y 2 y ANOVA, utilizando en esta ltima tcnica tems basados en la percepcin positiva sobre la evaluacin basada en los procesos de aprendizaje y en el nmero de veces que el alumnado se ha matriculado en las asignaturas. Las conclusiones muestran: a) los sistemas de evaluacin formativa son percibidos positivamente por el alumnado; b) la calidad de las tareas exigidas aumenta, reconociendo una mayor implicacin y una comprensin del sistema desde el comienzo; c) el nmero de veces que el alumno se haya matriculado en la asignatura no incide de manera directa en su percepcin sobre este tipo de procesos.

    Palabras clave: Evaluacin formativa, Implicacin del alumnado en el proceso, Comparacin por cursos, Comprensin del sistema, Seguimiento individualizado, Educacin superior.

    Introduccin

    La completa implantacin del Espacio Europeo de Educacin Superior (EEES) ha generado indudables cambios a nivel estructural en el mbito de la enseanza universitaria (De la Fuente, Martnez, Peralta y Garca, 2010; Rue, 2007).

    La Ley Orgnica de Universidades (2001) proporciona un mayor nivel de autogobierno a las mismas, generando una arquitectura normativa que permita mejorar la calidad docente y que responda a los retos que se han ido derivando tanto de la formacin permanente a lo largo de la vida como de la enseanza superior no presencial a travs de las nuevas tecnologas de la informacin y de la comunicacin (LOU, 2001:49400-49401). Sin embargo, el aspecto ms importante quizs sea la

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 15

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    profundizacin en la creacin y transmisin del conocimiento como eje de la actividad acadmica.

    Busc, Pintor, Martnez y Peire (2010) comentan que el eje fundamental de estos cambios se centra en el desplazamiento del centro de gravedad ubicado en la figura del docente hacia la del alumnado. En este nuevo paradigma cobran especial relevancia dos aspectos curriculares fundamentales como: a.- una metodologa de aprendizaje ms diversificada y activa que pretende superar los procesos de enseanza tradicionales de enseanza bancaria y b.- una evaluacin que no se centre exclusivamente en la calificacin final y permita generar procesos de enseanza y aprendizaje adecuados; o como dicen Dochy, Segers y Dierick (2002), pasar de una cultura del examen a una cultura de la evaluacin.

    La interrelacin entre ambas es prcticamente obligada desde la perspectiva de la calidad del aprendizaje universitario (Biggs, 2005; Bonsn y Benito, 2005), plantendose diferentes modelos (De Miguel, 2006) entre los que se busca involucrar al alumnado en procesos participativos de forma activa (Millis, 2010; Meyer y Jones, 1993). Este hecho deriva en su implicacin en los propios procesos formativos (Huber, 2008), permitiendo as obtener un conocimiento ms autntico sobre lo que aprenden (Fraile y Cornejo, 2012). Aunque sea una obviedad sealar que el anlisis y evaluacin de la docencia universitaria es un proceso complejo (Gutirrez-Garca, Prez-Pueyo, Prez-Gutirrez y Palacios, 2011), existen una gran cantidad de estudios que reflejan la importancia que tiene el sistema de evaluacin empleado como estrategia docente (Aleamoni, 1999; Cashin, 1999; Emery, Kramer, y Tian, 2003; Escudero, Pino, y Rodrguez, 2010; Prez, 1997; Theall, Abrami, y Mets, 2001).

    La realidad espaola universitaria dista an bastante de desarrollar de forma generalizada procesos de evaluacin formativos y democrticos (Gutirrez-Garca, Prez-Pueyo y Prez-Gutirrez, 2013). Sin embargo, Lpez-Pastor y Palacios (2012) y Palacios y Lpez-Pastor (2013) comentan que son mltiples los ejemplos a lo largo de la geografa universitaria que intentan distanciarse de los enfoques ms tradicionales. Arribas, Carabias y Monreal (2010: 28) establecen que para mejorar la enseanza universitaria, entre otros aspectos, se debe implementar un sistema de evaluacin realmente formativo que permita superar el tradicional sistema de evaluacin, basado en la memorizacin sin compresin de carcter academicista y desligado del contexto. En este sentido, parece comenzar a existir un grado alto de acuerdo respecto a la funcionalidad de la evaluacin formativa en el proceso de aprendizaje que concuerda de forma clara con la perspectiva del EEES (Biggs, 2005; Boud y Falchikov, 2007; Brown y Glasner, 2003; Carless, Joughin, y Mok, 2006; Fernndez-Balboa, 2005, 2007; Fraile, 2004, 2006; Fraile, Lpez-Pastor, Castejn, y Romero, 2013; Lpez-Pastor, 2009; Lpez-Pastor, Pintor, Muros, y Webb, 2013; Lorente y Kirk, 2013; Martnez, Martn, y Capllonch, 2009; Prez-Pueyo et al., 2008).

    La evaluacin en la docencia universitaria apunta hacia su vinculacin prioritaria hacia la evaluacin formativa (Busc, Pintor, Martnez y Peire, 2010), siendo considerada sta como una actividad sistemtica y continua que tiene por objeto proporcionar la informacin necesaria sobre el proceso educativo (Lpez-Pstor, 2006, 2009). Sus fines son reajustar los objetivos, revisar crticamente los planes, los programas, los mtodos y recursos, y/u orientar a los estudiantes, as como retroalimentar el propio proceso (Boud

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    16

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    y Falchikoz, 2007; Lpez-Pastor, 2006). Por tanto, la evaluacin formativa se entiende como un continuo que permite una mayor implicacin del alumnado en las tareas que realice y un mayor criterio a la hora de evaluarse tanto a s mismo como a los dems (Hammersley y Orsmond, 2007; Sanmart, 2007) a travs de procesos de autoevaluacin (Fraile, 2010; Muros, 2009, 2013; Rivera, Trigueros, Moreno, De la Torre, 2012; Rodrguez, Ibarra y Gmez, 2011) y coevaluacin o evaluacin entre iguales (lvarez, 2008; Dochy, Segers y Sluijsmans, 1999; Gonzlez, 2006; Lpez-Pastor, 2009; Topping, 1998). De hecho, Busc, Rivera y Trigueros (2012) comentan que para los estudiantes la credibilidad de los sistemas de evaluacin est directamente relacionada con la claridad de los procesos de aprendizaje y la capacidad para motivarles e implicarles en el mismo.

    Diferentes investigaciones han permitido comprobar la importancia que tiene para el profesorado conocer las percepciones de los estudiantes y el anlisis de sus comportamientos de cara a la evaluacin y correccin de su prctica docente (Brosh, 1996; Buskist, Sikorski, Buckley, y Saville, 2002; Casillas, 2006; Garca-Valcrcel, 1992; Gargallo, Snchez, Ros y Ferreras, 2010; Park y Lee, 2006; Schaeffer, Epting, Zinn, y Buskist, 2003; Shishavan y Sadeghi, 2009).

    Las investigaciones acerca de la percepcin del alumnado y del profesorado en relacin a los sistemas de evaluacin implementados en las asignaturas son habituales en los ltimos tiempos (Arribas, Carabias y Monreal, 2010; Busc, Pintor, Martnez y Peire, 2010; Fraile, Lpez-Pastor, Castejn y Romero, 2013; Martnez, Castejn y Santos, 2012 Palacios y Lpez-Pastor, 2012 Valles, Urea y Ruiz,2011; Zaragoza, Luis y Manrique, 2008), comprobndose que la percepcin del profesorado no suele ser coincidente con la que tienen los estudiantes sobre el tipo de evaluacin que se ha desarrollado. Sin embargo, y analizados todos estos aspectos que identifican con claridad la idoneidad de la evaluacin formativa en el proceso de aprendizaje, cabe preguntarse si el curso en el que se encuentra el alumno cuando se le aplican los procesos de evaluacin formativa influye en su opinin sobre la misma. En este sentido, no se ha conseguido encontrar ninguna investigacin que compare estos aspectos.

    En este artculo, se ha decidido centrar la investigacin en la comparacin de las opiniones del alumnado en relacin a procesos de evaluacin formativa, comparando grupos de cursos iniciales con grupos de cursos finales de carrera, independientemente de cul sea la titulacin.

    Objetivos

    Analizar la percepcin que tienen los estudiantes de primeros y ltimos cursos de carrera en relacin a los procesos de evaluacin formativa y compartida.

    Comprobar el grado de significatividad existente entre las cuestiones vinculadas a la comprensin del sistema de evaluacin y el seguimiento llevado a cabo a lo largo de las asignaturas en cursos iniciales y cursos finales.

    Valorar en qu medida el nmero de veces que se haya matriculado el alumno influye en su percepcin positiva sobre la evaluacin compartida.

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 17

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Mtodo

    Muestra

    La muestra que compone el estudio es de 3460 estudiantes (54,3% varones y 45,7% mujeres). La media de edad es de 21,23 aos (DT=1,61). Todos los estudiantes se reparten en 51 asignaturas de 17 Universidades espaolas. Las materias implicadas pertenecen a diferentes titulaciones, todas ellas impartidas en el primer o el segundo semestre del curso escolar 2013-2014, teniendo entre 2 y 9 crditos cada una. Todo el alumnado que compone la muestra al finalizar su asignatura ha cumplimentado el cuestionario de evaluacin formativa. Se han creado dos grupos; el primero de ellos que abarca las asignaturas de 1 y 2 curso, y que tiene un total de 1764 estudiantes, y el segundo, en el que se muestran las materias de 3 y de 4 y que lo componen 1696 estudiantes.

    En la tabla 1 puede observarse el grupo creado denominado cursos iniciales, que consta de 26 asignaturas y en la que se refleja el nmero de crditos de cada una, la Universidad y el nmero de estudiantes matriculados en cada materia.

    Tabla 1. Muestra del estudio para cursos iniciales (caso, asignatura, universidad, crditos, nmero de estudiantes.

    CASO ASIGNAURA UNIVERSIDAD Crditos N estudiantes1 Enseanza y Aprendizaje de la Educacin Fsica ULL 8 822 Enseanza de la Educacin Fsica UVIC 6 523 Educacin Fsica en la enseanza en Secundaria ULE 6 254 Currculo y sistema educativo UVA 5 615 Educacin Fsica Escolar UVA 2 786 Infancia y Hbitos de Vida Saludable UVA 2 547 Educacin Fsica y su Didctica UBU 8 1738 Teora e Historia de la Actividad Fsica y el Deporte UDC 6 709 Didctica de las ciencias Experimentales UVA 3 7610 Actividades Corporales de Expresivas UZA 6 6611 Evaluacin de Programacin y Deporte en Educacin Fsica UAH 4 2812 Deporte Individual-III: Natacin UVIC 4.5 3713 La Educacin Fsica en la Educacin Primaria UAB 5 6414 Fundamentos de Educacin Fsica UVIC 6 4115 Educacin Fsica en la Ed. Prima. USAL 6 6016 Procesos de Enseanza-Aprendizaje en la AF y deporte UZA 6 6017 Enseanza-Aprendizaje de la Educacin Musical ULL 2 8318 Actividades FD en el Medio Natural UAM 6 9019 Educacin para la Paz UVA 6 6020 Psicologa del Desarrollo UVA 6 5921 Enseanza de la EF en la Educacin Primaria UGR 9 26522 Competencias bsicas y medio acutico UVIC 6 2623 Enseanza de la Educacin Fsica UVIC 7.5 6524 Iniciacin Deportiva UAM 6 2625 Gnetica II: UGR 2.5 6326 Psicologa del aprendizaje en Contextos Educativos UBU 6 56TOTAL 126 1764

    Fuente: elaboracin propia

    Universidad de la Laguna (ULL); Universidad de Valladolid (UVA); Universidad de Vic (UVIC); Universidad Autnoma de Madrid (UAM); Universidad de Len (ULE); Universidad de Burgos (UBU); Universidad de la Corua (UDC); Universidad de Zaragoza (UZA); Universidad de Alcal (UAH); Universidad Autnoma de Barcelona (UAB); Universidad de Salamanca (USAL); Universidad de Granada (UGR).

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    18

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    En la tabla 2 puede observarse el grupo creado denominado cursos finales, que consta de 25 asignaturas y en la que se refleja el nmero de crditos de cada una, la Universidad y el nmero de estudiantes matriculados en cada materia.

    Tabla2. Muestra del estudio para cursos finales (caso, asignatura, universidad, crditos, nmero de estudiantes.

    CASO ASIGNAURA UNIV Crd Estudiantes1 Didctica de la Actividad Fsica y del Deporte ULE 9 1132 Iniciacin Deportiva Escolar ULL 4 513 Didctica de la Expresin Corporal en Educacin Infantil UB 4 864 Didctica de la lengua castellana UVA 6 485 Juegos Motores y su Didctica ULL 4,5 696 Didctica de la Educacin Fsica-I UVIC 6 537 Fundamentos y propuestas didcticas en la Expresin

    CorporalUVA 2 68

    8 Educacin Fsica e investigacin en la enseanza UAM 6 269 Didctica de las Ciencias Experimentales UVA 2 6510 Expresin Corporal UVA 5 7211 Evaluacin de la Educacin Fsica en el Currculo UDL 5 4612 Evaluacin y Recursos de Enseanza en Educacin Fsica UMU 2 1613 Trabajo en equipo: baloncesto UVIC 3 5314 Prcticas II. Itinerario de Educacin Fsica UVIC 9 8315 Didctica de la Educacin Fsica- II UVIC 3 5016 Didctica Medio Natural, Soc. y Cultural UCLM 4 10017 P.y B. enseanza AFD Adaptados UDL 6 13018 Fundamentos de la Didctica de la EC en Educacin Infantil UVA 6 8819 Observacin Sistemtica y Anlisis de Centros Educativos UVA 2 6420 Int. y Evalua.de la enseanza Actividad Fsica y Deporte UDL 6 9721 Educacin Psicomotriz en Ed. Infantil UB 7 7322 Prcticum I ULL 6 8223 Estadstica UAH 6 4524 Educacin Fsica y Salud UVA 6 5125 Relaciones Laborales y Obligaciones de Seguridad social UCA 9 67TOTAL 128,5 1696

    Fuente: elaboracin propia

    Universidad de Len (ULE); Universidad de la Laguna (ULL); Universidad de Lleida (UDL); Universidad de Barcelona (UB); Universidad de Valladolid (UVA); Universidad de Vic (UVIC); Universidad Autnoma de Madrid (UAM); Universidad de Murcia (UMU); Universidad de Castilla la Mancha (UCLM); Universidad de Cdiz (UCA).

    Diseo y procedimiento

    El estudio es de tipo retrospectivo, en el que la mayora de las asignaturas que se incluyen en el mismo tienen un carcter semestral. Todas las asignaturas tenan en comn que se impartieron bajo metodologas de evaluacin formativa. De esta manera en cada una de ellas el alumno forma parte del proceso de enseanza-aprendizaje, existiendo un

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 19

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    feedback regular entre el docente y el discente que permite la mejora constate de cada una de las tareas. Aunque los procedimientos de evaluacin utilizados por cada docente en su asignatura fueron diferentes, las metodologas utilizadas en todos los casos fueron abiertas y participativas, conociendo el alumno desde el comienzo cmo iba a ser calificado y qu es lo que tena que hacer individualmente o en grupo.

    Al finalizar las asignaturas los estudiantes respondieron de forma individual al cuestionario en una nica sesin de una hora de duracin que se llev a cabo en el aula. En todo momento se garantiz el anonimato para que las respuestas de los estudiantes fueran lo ms sinceras posibles, as como la confidencialidad en el tratamiento de los datos.

    Instrumentos

    El instrumento utilizado para la obtencin de datos ha sido el cuestionario sobre metodologa y evaluacin en formacin inicial en Educacin Fsica (Castejn, Santos y Palacios, 2013), en concreto la Escala de Sistemas de Evaluacin, que aborda diferentes enfoques relacionados con los sistemas de evaluacin, calificacin, percepcin y participacin del alumnado en procesos de evaluacin formativa.

    El cuestionario final que se utiliz con la muestra tiene un total de 28 cuestiones a las que los estudiantes responden en grado al acuerdo con el enunciado en una escala tipo Likert, cuyos valores van desde 1 (Nada) hasta 5 (Mucho), dando opcin a que el sujeto responda No sabe/No Contesta marcando la opcin nmero 6.

    El anlisis factorial realizado en la validacin del cuestionario muestra 6 factores iniciales que integran el mismo. En el presente estudio se han seleccionado 4 de ellos con el fin de dar respuesta a los objetivos planteados, recogiendo tems vinculados con el grado de dificultad en la compresin de los sistemas de evaluacin formativa y el nivel de continuidad, seguimiento y feedback llevada a cabo a lo largo de la asignatura. Estos 4 factores son:

    1. Evaluacin orientada a los procesos de aprendizaje (17 tems). Consta de tems vinculados directamente con el tipo de aprendizaje experimentado por el alumnado, la motivacin y responsabilidad necesaria que requiere y la retroalimentacin y seguimiento a lo largo del proceso.

    2. Anti-evaluacin (5 tems). En este factor se abordan cuestiones relativas a la complejidad y justicia del sistema, as como con la objetividad y las correcciones realizadas.

    3. Evaluacin no planificada (4 tems). Esta dimensin atiende a la carga de trabajo y al esfuerzo realizado.

    4. Evaluacin basada en la asistencia (2 tems). Este factor evala la continuidad y la obligatoriedad.

    En este sentido, se descart incluir las otras dos dimensiones del cuestionario, Evaluacin formativa y Evaluacin basada en el portafolio. El primero de ellos no se incluy en el estudio debido a que la totalidad de las asignaturas incluidas en la

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    20

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    investigacin utilizaron procesos de evaluacin formativa. El factor denominado como Evaluacin centrada en el portafolio se descart por razones similares al anterior, ya que se centra en conocer si se han utilizado portafolios, tanto individuales como grupales, algo que no se utiliz en ninguna de las asignaturas incluidas en el estudio.

    Anlisis estadsticos

    En esta investigacin se ha desarrollado un anlisis cuantitativo en el que se realiza, por un lado, un anlisis descriptivo para conocer la percepcin de cada uno de los grupos creados sobre la participacin en el proceso de evaluacin formativa. Por otro lado se realiza un anlisis estadstico inferencial mediante el paquete estadstico SPSS 18.0. Se han elaborado Tablas de Contingencia y 2, determinando el grado de significatividad existente entre las variables relacionadas con la comprensin del sistema de evaluacin y el nivel de feedback o seguimiento llevado a cabo a lo largo de la asignatura. Tambin se han utilizado ANOVAS con el fin de observar el grado de influencia que tiene el nmero de veces que se matricula el alumno en la asignatura en cada uno de los 2 grupos creados respecto a la percepcin positiva en la participacin de los sistemas de evaluacin formativa.

    Resultados

    Anlisis descriptivos

    Se presentan los datos agrupados en cada uno de los cuatro factores en los que se divide el cuestionario, siendo CI (cursos iniciales) y CF (cursos finales).

    Evaluacin orientada a los procesos de aprendizaje

    Se observa la linealidad de los resultados obtenida en el factor 1 en relacin a los cursos iniciales y los cursos finales (tabla 3).

    Tabla 3. Porcentajes obtenidos en el factor Evaluacin orientada a los procesos de aprendizaje en Cursos Iniciales y Cursos Finales

    Nada (1)

    CI/CF

    Poco (2)

    CI/CF

    Algo (3)

    CI/CF

    Bastante (4)

    CI/CF

    Mucho (5)

    CI/CF

    NS/NC (6)

    CI/CFSe aprende mucho ms 0/0 0/0 10.4/8.7 35.7/38.5 53.2/51.5 0.7/1.3Permite aprendizajes funcionales 0/0 0.5/0 11.7/11.5 53.3/50.2 31.1/33.7 3.5/4.6Genere aprendizajes significativos 0/0 0.1/0.5 7.1/5.5 42.9/35.8 48.8/57.3 1.1/0.8Mejora la calidad de los trabajos exigidos 6.2/0 10.7/3 29.3/11 32.5/22.6 21.3/63.4 0/0

    Mejora la tutela acadmica 0/0 0.1/0.2 19.6/17.9 38.4/34,5 41,9/47.5 0/0El alumno est ms motivado. 0.3/0.6 1.1/1.5 21.6/14 30.6/33.2 46.2/50.4 0.2/0.2La calificacin es ms justa 3.5/0.5 7.8/1 31.6/22.3 38.5/41.2 18.3/34.6 0.3/0.4Evala todos los aspectos posibles 0/0 1.1/0.5 11.6/13.7 39.3/31.3 46.8/53 1.1/1.5

    Hay interrelacin entre teora y prctica 0/0 6.5/0.9 2.3/3 32.7/36 58.4/59.8 0.2/0.2

    Hay retroalimentacin y posibilidad de corregir errores 0/0 0.5/0 9.8/9.4 25.1/24.8 64.6/65.8 0/0

    Tabla 2: contina en la pgina siguiente

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 21

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Nada (1)

    CI/CF

    Poco (2)

    CI/CF

    Algo (3)

    CI/CF

    Bastante (4)

    CI/CF

    Mucho (5)

    CI/CF

    NS/NC (6)

    CI/CFEl estudiante realiza un aprendizaje activo 0.1/0 2.3/1.7 2/2.7 39.7/31.5 55.8/64 0.1/0.1

    Se da un seguimiento ms individualizado 4.3/5 5.6/4.4 27.7/24.4 32.7/34.4 29.5/31.6 0.1/0.2

    Ofrece alternativas a todos los estudiantes 0.5/3.5 0.9/1.1 11.1/10 44.6/43.6 42.4/41.5 0.6/0.3

    Requiere ms responsabilidad 0.5/0.5 0.2/0.4 6.1/3.5 23.1/45 70/50.4 0.1/0.3Est centrado en el proceso 0/0 0/0 11.8/4 28.1/24.6 60.1/71.5 0/0Hay un contrato y negociado previo 5.2/8.6 7.5/3.1 21.4/18.9 30.8/27.1 34.1/41.1 1/1.1

    Se plantea el trabajo en equipo 0/0 2.3/3.1 12/6.5 28.9/26.7 56.8/63.6 0/0

    Fuente: elaboracin propia

    A vista de los resultados podemos destacar que en lneas generales tanto el alumnado que se encuentran matriculados en cursos iniciales cmo los que lo hacen en los finales tiene una percepcin positiva y favorable hacia la evaluacin centrada en los procesos de aprendizaje. Sin embargo, en algunos tems encontramos diferencias llamativas que reflejan la disparidad de criterios sobre aspectos tan relevantes como la calidad de los trabajos, la calificacin o el grado de responsabilidad necesario que conlleva este tipo de evaluacin. As, aunque un 53,8% de los cursos iniciales consideran que con la evaluacin continua los trabajos mejoran bastante o mucho, el porcentaje es bajo respecto a los cursos finales (86%).

    En relacin a la percepcin de la justicia sobre la calificacin obtenida, de nuevo los cursos finales valoran ms positivamente este aspecto, ya que un 34,8% afirma que el proceso es mucho ms justo mientras que solamente un 18,3% de los cursos iniciales lo hace. Sin embargo, en cuanto a la responsabilidad necesaria durante el proceso, son los cursos iniciales los que perciben que es mucho mayor que en otras asignaturas con otros sistemas de evaluacin, ya que el 70% consideran que mucho por los 50,4% de los cursos finales.

    Anti-evaluacin

    En la tabla 4, a pesar de mantenerse una linealidad en los resultados de los cursos iniciales y los finales, se corroboran los datos observados en la tabla anterior, sobre todo en relacin a la incertidumbre inicial que pueden generar estos procesos en un comienzo.

    Tabla 4. Porcentajes relativos al factor Anti-evaluacin.

    Nada (1)

    CI/CF

    Poco (2)

    CI/CF

    Algo (3)

    CI/CF

    Bastante (4)

    CI/CF

    Mucho (5)

    CI/CF

    NS/NC (6)

    CI/CFEs injusto frente a otros procesos 44.4/45.4 32.8/25.9 17.8/20.1 4.3/7.9 0.6/0.1 0.2/0.6

    Genera inseguridad e incertidumbre 12.2/22.4 5.7/39.9 18.3/24.1 45.2/11.2 18.5/2.2 0.1/0.1

    Las correcciones han sido poco claras 53.9/55.7 22.9/28.4 20.7/14.7 2.2/1.2 0.2/0 0.2/0.1

    El proceso es ms complejo 15.7/25.1 22.5/33.4 31.1/27.1 18.7/12.7 11.9/1.6 0.1/0.1La valoracin del trabajo es subjetiva 50.6/47.2 18.2/18.5 22.6/14.8 8/18.9 0.2/0.1 0.4/0.6

    Fuente: elaboracin propia

    Tabla 2: contina de la pgina anterior

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    22

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Llama la atencin cmo solamente un 2,2% de los estudiantes de cursos finales consideran que existe mucha inseguridad e incertidumbre a la hora de iniciarse en procesos de evaluacin formativa, mientras que un 45,2% de los cursos iniciales creen que bastante. Por otro lado, los 2 grupos valoran los procesos evaluativos como altamente clarificadores en sus correcciones, mientras que los cursos iniciales perciben el proceso como algo ms complejo. Sin embargo, los 2 grupos coinciden en que la valoracin del trabajo a lo largo de las asignaturas es muy objetiva.

    Evaluacin no planificada

    En la tabla 5 se refleja el tercer factor correspondiente a la Evaluacin no planificada en la que se reflejan 4 tems relativos a los aspectos que pueden interferir a lo largo del proceso.

    Tabla 5. Porcentajes relativos al factor Evaluacin no Planificada.

    Nada (1)

    CI/CF

    Poco (2)

    CI/CF

    Algo (3)

    CI/CF

    Bastante (4)

    CI/CF

    Mucho (5)

    CI/CF

    NS/NC (6)

    CI/CFSe puede acumular mucho trabajo al final

    4.6/1.8 24.9/16.4 30/17.1 13/19.1 27.4/45.6 0/0

    Existe una desproporcin trabajo/crditos

    16.1/10.2 30/33.3 29.5/23.1 14.5/18.6 8.4/12.9 1.4/1.9

    Exige un mayor esfuerzo 2.2/3.1 0.1/0 20.2/15.6 33.9/33.2 43.5/48.1 0/0Existe dificultad para trabajar en grupo

    3.9/5.7 3.1/25.7 15.4/29.4 34.9/28.9 41.9/10.3 0.8/0

    Fuente: elaboracin propia

    En este caso, y en relacin a la cantidad de trabajo que tienen que realizar el alumnado en las asignaturas, se observa cmo un 45.6% de cursos finales consideran que se puede acumular mucho al final si no se trabaja da a da, mientras que un 24.9% de los cursos iniciales consideran que poco. Los dos grupos asocian este tipo de evaluacin con un mayor esfuerzo invertido, admitiendo un 41,9% de los cursos finales la dificultad existente para trabajar en grupo. Aunque ligeramente superior en los cursos finales, los dos grupos obtienen porcentajes similares en cuanto a la posible desproporcin existente entre la cantidad de trabajo y los crditos de las asignaturas, considerando que sta no existe.

    Evaluacin basada en la asistencia

    En este ltimo factor se plantean las respuestas relativas a la exigencia y la continuidad en la asistencia que requiere la participacin en vas de evaluacin formativa y compartida (tabla 6).

    Tabla 6. Porcentajes relativos al factor Evaluacin basada en la asistencia.

    Nada (1)

    CI/CF

    Poco (2)

    CI/CF

    Algo (3)

    CI/CF

    Bastante (4)

    CI/CF

    Mucho (5)

    CI/CF

    NS/NC (6)

    CI/CFExige una asistencia obligatoria y activa

    1.1/1.2 1.9/0.2 19.3/3.6 22.9/31 54.8/64 0.1/0

    Exige continuidad 0.3/0.4 2.7/2.8 7.9/4 34.1/28.8 55/64 0/0

    Fuente: elaboracin propia

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 23

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    En los dos grupos ms de la mitad de la muestra reconoce que permanecer en procesos de evaluacin formativa implica una continuidad a lo largo de las asignaturas, correlacionando este hecho con la posibilidad de que se acumule trabajo al final. Sin embargo, en ambos casos, el grupo de cursos finales presenta un porcentaje mayor en el rango de mucho.

    Anlisis Inferencial

    Este anlisis atiende a Tablas de contingencia y 2 y ANOVAS, utilizando tems categricos y de escala asociados a la comprensin del sistema, al feedback a lo largo del proceso y al nmero de veces que se haya matriculado el alumno en la asignatura en cada uno de los grupos.

    Tablas de contingencia y 2

    Se va a comprobar el nivel de significatividad existente entre variables que miden la percepcin del alumnado sobre la comprensin y el grado de incertidumbre que pueden provocar los sistemas de evaluacin que implican al alumnado desde el comienzo, tanto en los cursos iniciales (tabla 7) como en los finales (tabla 8).

    Tabla 7. Relacin entre tems de comprensin del sistema y seguimiento de la asignatura para cursos iniciales.

    2 df pHay que comprender el sistema previamente (F.21) / Hay feedback para corregir errores (F.1)

    41.848 15 0.000

    Exige un mayor esfuerzo (F.3) / Las correcciones han sido poco claras (F.2) 115.194 25 0.000El proceso es ms complejo (F.2) /Requiere continuidad (F.4) 209.310 20 0.000Genera inseguridad e incertidumbre (F.2) / Exige una asistencia obligatoria y activa (F.4)

    44.621 25 0.059

    Existe dificultad para trabajar en grupo (F.3) / Se da un seguimiento ms individualizado (F.1)

    101.404 20 0.000

    Fuente: elaboracin propia

    Se obtiene una relacin significativa en la totalidad de los pares de tems, salvo en el que se refiere a la inseguridad e incertidumbre y a la asistencia obligatoria y activa (2(1764)=44.621, p=0.059), debido a que los estudiantes de cursos iniciales que han afirmado que se requiere de una asistencia activa, no han considerado que se produzca un alto grado de inseguridad inicial.

    Tabla 8. Relacin entre tems de comprensin del sistema y seguimiento de la asignatura para cursos finales.

    2 df pHay que comprender el sistema previamente (F.2) / Hay retroalimentacin para corregir errores (F.1) 39.354 8 0.000

    Exige un mayor esfuerzo (F.3) / Las correcciones han sido poco claras (F.2) 64.9797 12 0.000

    El proceso es ms complejo (F.2) /Requiere continuidad (F.4) 125.737 12 0.000Genera inseguridad e incertidumbre (F.2) / Exige una asistencia obligatoria y activa (F.4) 142.864 20 0.122

    Existe dificultad para trabajar en grupo (F.3) / Se da un seguimiento ms individualizado (F.1) 202.131 20 .000

    Fuente: elaboracin propia

    1 Se refleja el factor al que corresponden cada uno de los tems analizados

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    24

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Al igual que ha sucedido con los cursos iniciales, los nicos pares de tems que no correlacionan significativamente son el relativo a la incertidumbre y a la obligatoriedad en la asistencia. Este hecho muestra la coherencia en las respuestas de los 2 grupos, no existiendo diferencias en este aspecto.

    ANOVAS

    A partir de los tems del primer factor que se vinculan con la percepcin positiva que tiene el alumnado hacia la evaluacin formativa, se ha creado una variable de escala que se relaciona con el nmero de veces que se ha matriculado el alumno en la asignatura. Esta ltima variable se ha categorizado en 1: una vez; 2 dos veces; 3 ms de dos veces (tabla 9).

    Tabla 9. ANOVA para cursos iniciales y cursos finales.

    Concepcin positiva en Evaluacin Formativa F df pNmero de veces matriculado (Cursos iniciales) 0.783 33 0.807Nmero de veces matriculado (Cursos finales) 0.429 2 0.655

    Fuente: elaboracin propia

    Tanto en cursos iniciales como en cursos finales no se obtiene una relacin significativa entre el nmero de veces que se haya matriculado el alumno en la asignatura y la concepcin ms o menos positiva que se tenga hacia la evaluacin formativa y compartida.

    Discusin y conclusiones

    Ha quedado de manifiesto que la percepcin del alumnado universitario, tanto en cursos iniciales como en los finales, es altamente positiva en relacin a la participacin de procesos de evaluacin formativa y compartida. Sin embargo, se ha obtenido disparidad en algunos tems como en la mejora del trabajo, siendo los cursos finales los que ms han valorado este aspecto. Este hecho puede ser debido a que los estudiantes de cursos finales ya han realizado una mayor cantidad de trabajos a lo largo de la carrera, lo que les permite valorar con mayores garantas este aspecto. En este sentido, autores como Boud y Falchikov (2007) determinan que la experiencia del alumnado en procesos de reflexin constante, vinculados al aprendizaje, facilitan una comprensin ms realista de aquello que se hace.

    Otro aspecto que presenta discordancia entre los grupos es la relacin que se establece acerca de la justicia sobre la calificacin obtenida. Los cursos finales son los que valoran ms positivamente este hecho, reconociendo que los sistemas de evaluacin formativa son mucho ms justos en relacin a la nota final. Uno de los aspectos que puede justificar este hecho es la incertidumbre que presenta el alumnado en los primeros cursos cuando se enfrenta a vas de evaluacin formativa, estando acostumbrado a planteamientos ms tradicionales (Gutirrez-Garca, Prez-Pueyo y Prez-Gutirrez, 2011). Este hecho se corrobora al observar cmo los estudiantes de los cursos iniciales presentan una inseguridad e incertidumbre mucho mayor que los cursos finales respecto a los sistemas de evaluacin formativa.

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 25

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    A pesar de que los cursos iniciales perciben el proceso como algo ms complejo, la totalidad de la muestra coincide en que el feedback utilizado en las asignaturas es muy clarificador, siendo muy positivo y facilitando la adquisicin de un mayor aprendizaje. Autores como Fraile, Lpez-Pastor, Castejn y Romero (2013) asocian la retroalimentacin entre el profesor y el alumnado como uno de los factores que incrementa su motivacin y que puede repercutir en una mejora del rendimiento acadmico. En relacin a esta idea, Gallego y Raposo (2014) indican que si utilizamos instrumentos que conlleven la autoevaluacin del alumnado, como por ejemplo las rbricas, el compromiso alcanzado ser mayor.

    La experiencia a lo largo de la carrera en asignaturas con diferentes metodologas y planteamientos evaluativos puede ser el factor que provoque que los cursos finales perciban que se puede acumular mucho trabajo al final si no se desarrolla ste en el da a da, siendo tambin percibido a menor escala por los cursos iniciales. No obstante en ambos casos se reconoce que la evaluacin formativa requiere de un mayor esfuerzo. En esta lnea algunos estudios de corte cualitativo como el de Valles, Urea y Ruiz (2011) establecen que en multitud de casos los estudiantes manifiestan una desproporcin entre el trabajo realizado y los crditos de la asignatura, aunque sta no es real, ya que nicamente se fundamenta en la comparacin con otras asignaturas cursadas en las que han trabajado menos. Este aspecto se relaciona con que los dos grupos reconocen que permanecer en vas de evaluacin formativa supone una mayor exigencia y continuidad (Carless, Joughin y Mok, 2006).

    Respecto a los tem relativos a la comprensin del sistema de evaluacin y al seguimiento realizado a lo largo de las asignaturas, se observa una correlacin en las respuestas, afirmando los dos grupos que es fundamental comprender inicialmente el sistema para regular y estructurar el trabajo. Este hecho se relaciona con la dificultad que se tiene para trabajar en grupo. Algunos autores como lvarez (2008) determinan que es necesario aplicar procedimientos de coevaluacin y registro de trabajo para eliminar esta reticencia hacia el trabajo grupal. En este sentido, y si queremos ir un paso ms all, Valverde y Ciudad (2014) proponen el uso de e-rbricas fiables para poder evaluar las competencias adquiridas por el estudiante.

    Por ltimo, observamos que ni en los cursos iniciales ni en los finales el nmero de veces que el alumno se haya matriculado en la asignatura incide en su percepcin positiva hacia la evaluacin formativa como sistema, algo que se contrapone a algunas experiencias que afirman que el alumno que suspende una asignatura suele excusarse en factores externos como el sistema de evaluacin en lugar de hacer de hacer autocrtica, aun reconociendo lo positivo que es el proceso de evaluacin por pares (Kaufman y Schunn, 2011).

    Por tanto, en el presente estudio hemos observado cmo el alumnado, independientemente del curso en el que se encuentre, tiene una percepcin positiva hacia los procesos de evaluacin formativa que regulan las asignaturas en las que han participado. Con estos sistemas de evaluacin la calidad de los trabajos exigidos aumenta, aunque se reconoce que la implicacin debe ser mayor desde el comienzo, ya que si no se puede se puede acumular mucho trabajo al final. Del mismo modo, los estudiantes de cursos iniciales presentan una mayor incertidumbre a la hora comprender y enfrentarse a este proceso, debido en parte a la mayor complejidad existente frente a los sistemas

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    26

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    de evaluacin ms tradicionales. Finalmente, el nmero de veces que el alumno se haya matriculado en la asignatura no incide de manera directa en su percepcin sobre este tipo de procesos.

    Referencias bibliogrficas

    lvarez, I. (2008). La coevaluacin como alternativa para mejorar la calidad del aprendizaje de los estudiantes universitarios: valoracin de una experiencia. Revista Interuniversitaria de Formacin del Profesorado, 63(22,3), 127-140.

    Aleamoni, L. M. (1999). Student rating myths versus research facts from 1924 to 1998. Journal of Personnel Evaluation in Education, 13(2), 153-166.

    Arribas, J. M., Carabias, D. & Monreal, I. (2010). La docencia universitaria en la formacin inicial del profesorado. El caso de la escuela de magisterio de Segovia. Revista Electrnica Interuniversitaria de Formacin del Profesorado, 13(3), 27-35. Disponible en http://aufop.com/aufop/uploaded_files/articulos/1285861727.pdf.

    Biggs, J. B. (2005). Calidad del aprendizaje universitario. Madrid: Narcea.

    Bonsn, M. & Benito, A. (2005). Evaluacin y Aprendizaje. En A. Benito & A. Cruz (Eds.), Nuevas claves para la docencia universitaria en el Espacio Europeo de Educacin Superior (pp. 87-100). Madrid: Narcea.

    Boud, D. & Falchikov, N. (2007). Rethinking Assessment in Higher Education. Learning for the long term. Londres: Routledge.

    Brosh, H. (1996). Perceived characteristics of an effective language teacher. Foreign Language Annals, 29(2), 25-38.

    Brown, S. & Glasner, A. (2003). Evaluar en la universidad. Problemas y nuevos enfoques. Madrid: Narcea.

    Busc, F., Pintor, P., Martnez, L. & Peire, T. (2010). Sistemas y procedimientos de evaluacin formativa en docencia universitaria: resultados de 34 casos aplicados durante el curso acadmico 2007-2008. Estudios sobre educacin, 18, 255-276.

    Busc, F., Rivera, E. & Trigueros, C. (2012). La credibilitat del sistemes davaluaci formative en la formaci inicial del professorat deducaci fsica. Temps dEducaci 43, 167-184.

    Buskist, W., Sikorski, J., Buckley, T., & Saville, B. K. (2002). Elements of master teaching. In S. F. Davis & W. Buskist (Eds.), The teaching of psychology: Essays in honor of Wilbert J. McKeachie and Charles L. Brewer (pp. 27-39). Mahwah, NJ: Lawrence Erlbaum Associates.

    Carless, D., Joughin, & Mok. (2006). Learning-oriented assessment: principles and practice. Assessment & Evaluation in Higher Education, 31(4), 395-398.

    Cashin, W. E. (1999). Student ratings of teaching: uses and misuses. In P. Seldin & Associates (Eds.), Changing practices in evaluating teaching: a practical guide to improved faculty performance and promotion/tenure decisions (pp. 25-44). Bolton, MA: Anker.

    http://aufop.com/aufop/uploaded_files/articulos/1285861727.pdfhttp://aufop.com/aufop/uploaded_files/articulos/1285861727.pdf

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 27

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Casillas, S. (2006). Percepciones de alumnos y profesores sobre el buen docente universitario. Papeles salmantinos de Educacin, 7, 271-282.

    Castejn, F.J., Santos, M., & Palacios, A. (2013). Cuestionario sobre metodologa y evaluacin en formacin inicial en Educacin Fsica. Revista Internacional de Medicina y Ciencias de la Actividad Fsica y el Deporte, 12(1), 1-23.

    Cruz, M. (2007). Una propuesta para la evaluacin del profesorado universitario [Tesis Doctoral]. Universidad Autnoma de Barcelona, Barcelona. Recuperado el 01/03/2010 de http://www.tesisenxarxa.net/TESIS_UAB/AVAILABLE/TDX-1126107-102111//mca1de1.pdf

    De la Fuente, J., Martnez, J.M., Peralta, F.J., & Garca, A.B. (2010). Percepcin del proceso de enseanza-aprendizaje y rendimiento acadmico en diferentes contextos instruccionales de la Educacin Superior. Psicothema, 22(4), 806-812.

    De Miguel, M. (Ed.). (2006). Metodologas de enseanza y aprendizaje para el desarrollo de competencias: Orientaciones para el profesorado universitario ante el espacio europeo de educacin superior. Madrid: Alianza.

    Dochy, F., Segers, M. & Sluijsmans, D. (1999). The use of self-peer and co-assessment in Higher Education: a review. Studies in Higher Education, 24(3), 331-350.

    Dochy, F., Segers,M. & Dierick,S. (2002). Nuevas vas de aprendizaje y enseanza y sus consecuencias: una era de evaluacin. Red Estatal de Docencia Universitaria, 2(1), Disponible en http://www.uam.es/servicios/apoyodocencia/ice/redu.

    Emery, C. R., Kramer, T. R., & Tian, R. G. (2003). Return to academic standards: a critique of student evaluations of teaching effectiveness. Quality Assurance in Education, 11(1), 37-46.

    Escudero, T., Pino, J. L., & Rodrguez, C. (2010). Evaluacin del profesorado universitario para incentivos individuales: revisin metaevaluativa. Revista de educacin, 351, 513-537.

    Fernndez-Balboa, J. M. (2005). La autoevaluacin como prctica promotora de la democracia y la dignidad. En A. Sicilia, & J.M. Fernndez-Balboa (coords.) La otra cara de la educacin fsica: la educacin fsica desde una perspectiva crtica (pp. 127-158). Barcelona: Inde.

    Fernndez-Balboa, J. M. (2007). Dignity and democracy in the college classroom: The practice of self-evaluation. En R.A. Goldstein (ed.) Useful Theory: Making Critial Eduation Practical (pp. 105-128). New York: Peter Lang Publishing.

    Fraile, A. (2004) Un cambio democrtico en las aulas universitarias: Unas experiencia en la formacin del profesorado de Educacin Fsica. Contextos educativos: Revista de Educacin, 6-7, 213-234.

    Fraile, A. (2006). Cambios en el aula universitaria ante los nuevos retos europeos. Tndem. Didctica de la Educacin Fsica, 20, 57-72.

    Fraile, A. (2010). La autoevaluacin: una estrategia docente para el cambio de valores educativos en el aula. Revista Ser Corporal, 3, 6-18.

    http://www.tesisenxarxa.net/TESIS_UAB/AVAILABLE/TDX-1126107-102111//mca1de1.pdfhttp://www.tesisenxarxa.net/TESIS_UAB/AVAILABLE/TDX-1126107-102111//mca1de1.pdfhttp://www.uam.es/servicios/apoyodocencia/ice/redu

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    28

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Fraile, A. & Cornejo, P. (2012). La evaluacin formativa en la enseanza universitaria: una experiencia de innovacin educativa con estudiantes de EF. Revista de evaluacin educativa, 1(2), 22-43. Disponible: http://revalue.mx/revista/index.php/revalue/issue/current.

    Fraile, A., Lpez-Pastor V., Castejn, J., & Romero, R. (2013). La evaluacin formativa en docencia universitaria y el rendimiento acadmico del alumnado. Aula Abierta, 41(2), 23-34.

    Gallego, M.J., & Raposo, M. (2014). Compromiso del estudiante y percepcin del proceso evaluador basado en rbricas. Revista de Docencia Universitaria, 12(1), 197-215.

    Garca-Valcrcel, A. (1992). Caractersticas del buen profesor universitario segn estudiantes y profesores. Revista de investigacin educativa, 19, 31-50.

    Gargallo, B., Snchez, F. J., Ros, C., & Ferreras, A. (2010). Estilos docentes de los profesores universitarios: la percepcin de los alumnos de los buenos profesores. Revista Iberoamericana de Educacin, 51(4), 1681-5653.

    Gonzlez, I. (2006). Dimensiones de la evaluacin en el Espacio Europeo de Educacin Superior. Electronic Journal of Research in Educational Psychology, 4(3), 445-468.

    Gutirrez-Garca, C., Prez-Pueyo, A., Prez-Gutirrez, M., & Palacios, A. (2011). Percepciones de profesores y alumnos sobre la enseanza, evaluacin y desarrollo de competencias en estudios universitarios de formacin de profesorado. Cultura y Educacin, 23(4), 499-514.

    Gutirrez-Garca, C.; Prez-Pueyo, A. & Prez-Gutirrez, M. (2013). Percepciones de profesores, alumnos y egresados sobre los sistemas de evaluacin en estudios universitarios de formacin del profesorado de educacin fsica. gora para la educacin fsica y el deporte, 2(15), 130-151

    Hammersley, L. & Orsmond, P. (2007). Evaluating our peers: is peerobservation a meaningful process? Studies in Higher Education, 29, 489-503.

    Huber, G.L. (2008). Aprendizaje activo y metodologas educativas. Revista de Educacin, nmero extraordinario, 59-81.

    Kaufman, J., & Schunn, C. (2011). Students Perceptions about Peer Assessment for Writing: Their Origin and Impact on Revision Work. Instructional Science: An International Journal of the Learning Sciences, 39(3), 387-406.

    Ley Orgnica 6/2001, de 21 de diciembre, de Universidades. Boletn Oficial del Estado, 307, de 24 de diciembre de 2001. 49400-49425.

    Lpez-Pastor, V. M. (coord). (2006). La evaluacin en Educacin Fsica. Revisin de los modelos tradicionales y planteamiento de una alternativa: la evaluacin formativa y compartida. Buenos Aires: Mi y Dvila.

    Lpez-Pastor, V.M. (2009). Fundamentacin terica y estado de la cuestin. En V. M. Lpez Pastor (coord.), La Evaluacin Formativa y Compartida en la docencia universitaria (pp. 45-64). Madrid: Narcea.

    Lpez-Pastor, V. M. & Palacios, A. (2012). Percepcin de los futuros docentes sobre los sistemas de evaluacin de sus aprendizajes. Revista Teora de la Educacin: Educacin y Cultura en la Sociedad de la Informacin. 13(3), 317-341. Recuperado de http://campus.usal.es/~revistas_trabajo/index.php/revistatesi/article/view/9143/9376

    http://revalue.mx/revista/index.php/revalue/issue/currenthttp://revalue.mx/revista/index.php/revalue/issue/currenthttp://campus.usal.es/~revistas_trabajo/index.php/revistatesi/article/view/9143/9376http://campus.usal.es/~revistas_trabajo/index.php/revistatesi/article/view/9143/9376

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 29

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Lpez-Pastor, V. M., & Palacios, A. (2012). Percepcin de los futuros docentes sobre los sistemas de evaluacin de sus aprendizajes. Teora de la Educacin: Educacin y Cultura en la Sociedad de la Informacin, 13(3), 317-341.

    Lpez-Pastor, V. M., Pintor, P., Muros, B., & Webb, G. (2013). Formative assessment strategies and their effect on student performance and on student and tutor workload: the results of research projects undertaken in preparation for greater convergence of universities in Spain within the European Higher Education Area (EHEA). Journal of Further and Higher Education, 37(2), 163-180.

    Lpez-Pastor, V. M., Castejn, J., Sicilia, A., Navarro, V. & Webb, G. (2011). The process of creating a cross-university network for formative and shared assessment in higher education in Spain and its potential applications. Innovations in Education and Teaching International, 48(1), 79-90.

    Lorente, E., & Kirk, D. (2013). Alternative democratic assessment in PETE: an action-research study exploring risks, challenges and solutions. Sport, Education and Society, 18(1), 77-96.

    Martnez, L., Martn, M., & Capllonch, M. (2009). Una experiencia de desarrollo profesional del docente universitario de Educacin Fsica a travs de una prctica crtica, reflexiva y colaborativa. Cultura y Educacin, 21(1), 95-106.

    Martnez, L., Castejn, J. & Santos, M L. (2012). Diferentes percepciones sobre evaluacin formativa entre profesorado y alumnado en formacin inicial en educacin fsica. REIFOP, 15(4), 57-67. Recuperada de http://www.aufop.com

    Meyer, C., & Jones, T. B. (1993). Promoting active learning: Strategies for the college classroom. San Francisco: Jossey-Bass.

    Millis, B. (ed.) (2010). Cooperative Learning in Higher Education: Across the Disciplines, Across the Academy. Sterling: Stylus Publishing.

    Muros, B. (2009). La autoevaluacin y la democracia radical o especfica: deconstruccin y Universidad. Revista de Ciencias de la Educacin, 219, 363-370.

    Muros, B. (2013). Autoevaluacin: bases epistemolgicas y autoconocimiento. Una experiencia en el aula universitaria. Revista de evaluacin educativa, 2(1). Recuperado de http://revalue.mx/revista/index.php/revalue/issue/current

    Palacios, A. & Lpez-Pastor, V. M. (2012). Percepcin de los futuros docentes sobre los sistemas de evaluacin de sus aprendizajes. TESI, 13(3), 317-341

    Palacios, A. & Lpez-Pastor, V. M. (2013). Haz lo que yo digo pero no lo que yo hago: sistemas de evaluacin del alumnado en la formacin inicial del profesorado. Revista de Educacin, (361), 279-305.

    Park, G. P., & Lee, H. W. (2006). The characteristics of effective English teachers as perceived by high school teachers and students in Korea. Asia Pacific Education Review, 7(2), 236-248.

    Prez, R. (1997). La calidad como reto en la universidad. In P. Apocada & C. Lobato (Eds.), Calidad en la Universidad; orientacin y evaluacin (pp. 223-233). Barcelona: Laertes.

    http://www.aufop.comhttp://revalue.mx/revista/index.php/revalue/issue/current

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    30

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Prez-Pueyo, A., Tabernero, B., Lpez-Pastor, V. M., Urea, N., Ruiz, E., Caplloch, M., Gonzlez, N. & Castejn, F. J. (2008). Evaluacin formativa y compartida en la docencia universitaria y el Espacio Europeo de Educacin Superior: cuestiones clave para su puesta en prctica. Revista de Educacin, 347, 435-451.

    Rivera, E., Trigueros, Moreno, A. & De la Torre, E. (2012). El papel de la autoevaluacin en el interdisciplinar formar docentes, formar personas. Una mirada desde la ptica de los estudiantes. Pshycology, Society and Education, 4(1), 17-28.

    Rodrguez, G. Ibarra, M.S. & Gmez, M.A. (2011). E-Autoevaluacin en la universidad: un reto para profesores y estudiantes. Revista de Educacin, 356, 401-430.

    Rue, J. (2007). Ensear en la universidad: El EEES como reto para la evaluacin superior. Madrid: Nacea.

    Sanmart, N. (2007). Evaluar para aprender. 10 ideas clave. Barcelona: Gra.

    Schaeffer, G., Epting, K., Zinn, T., & Buskist, W. (2003). Student and faculty perceptions of effective teaching: a successful replication. Teaching of Psychology, 30(2), 133-136.

    Shishavan, H. B., & Sadeghi, K. (2009). Characteristics of an Effective English Language Teacher as Perceived by Iranian Teachers and Learners of English. English Language Teaching, 2(4), 130-143. Recuperado el 20/02/2010 de http://www.ccsenet.org/journal/index.php/elt/article/viewFile/4462/3803

    Theall, M., Abrami, P. C., & Mets, L. A. (2001). The student ratings debate: are they valid? how can we best use them? San Francisco: Jossey-Bass.

    Topping, K. (1998). Peer assessment between students in colleges and universities. Review of Educational Research, 68(3), 249-276.

    Valles, C., Urea, N. & Ruiz, E. (2011). La Evaluacin Formativa en Docencia Universitaria. Resultados globales de 41 estudios de caso. REDU. Revista de Docencia Universitaria, 9(1), 135-158. Recuperado de http://redaberta.usc.es/redu/index.php/REDU

    Valeverde, J. & Ciudad, A. (2014). El uso de e-rbricas para la evaluacin de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. Revista de Docencia Universitaria, 12(1), 49-79.

    Zaragoza, J., Luis, J. C., & Manrique, J. C. (2008). Experiencias de innovacin en docencia universitaria: resultados de la aplicacin de sistemas de evaluacin formativa. REDU. Revista de Docencia Universitaria, 4, 1-33. Recuperado de http://www.redu.um.es/red_U/4.

    Este estudio se ha llevado a cabo dentro del proyecto de I+D+i: La evaluacin en la formacin inicial del profesorado de educacin fsica. Convocatoria del Plan nacional de Proyectos I+D+i (2008-2011) (BOE del 31/12/2009). Proyectos de Investigacin Fundamental no orientada. Referencia: EDU 2010-19637 (Subprograma EDUC) de 3 aos de duracin (2010-2012).

    http://www.ccsenet.org/journal/index.php/elt/article/viewFile/4462/3803http://www.ccsenet.org/journal/index.php/elt/article/viewFile/4462/3803http://redaberta.usc.es/redu/index.php/REDUhttp://redaberta.usc.es/redu/index.php/REDUhttp://www.redu.um.es/red_U/4http://www.redu.um.es/red_U/4

  • HORTIGELA ALCAL, D., ABELLA GARCA, V., PREZ PUEYO, A. 31

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    Artculo concludo el 10 de junio de 2014

    Hortigela Alcal, D., Abella Garca, V., Prez Pueyo, A. (2014). Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera. REDU- Revista de Docencia Universitaria, 13(3), 13-32.

    Publicado en http://www.red-u.net

    David Hortigela AlcalUniversidad de Burgos

    Departamento de Didcticas Especficas [email protected]

    Doctor Internacional Educacin, Licenciado en Ciencias del Deporte, Maestro especialista en Educacin Fsica, Graduado en Primaria y en Ingls y con Mster en Bilingismo y en Sociedades Inclusivas, es Profesor Ayudante en el rea de Expresin corporal en el Departamento de Didcticas Especficas de la Universidad de Burgos. Miembro de la Red Nacional de Evaluacin Formativa y compartida, sus principales lneas de investigacin son: la evaluacin formativa y compartida en la educacin superior, la investigacin-accin, las metodologas abiertas y participativas y el tratamiento de las Competencias Bsicas.

    Vctor Abella GarcaUniversidad de Burgos

    Departamento de Ciencias de la Educacin [email protected]

    Doctor en Psicologa y Ciencias de la Educacin y es el actual Director del Centro de Enseanza Virtual de la Universidad de Burgos (UBUCEV). Es Profesor Ayudante Doctor del rea de Didctica y Organizacin Escolar en el Departamento de Ciencias de la Educacin. Miembro de la Red Nacional de Evaluacin Formativa y compartida sus principales lneas de investigacin son: nuevas tecnologas en el mbito educativo, necesidades educativas especiales, formacin del profesorado y mtodos pedaggicos en la enseanza universitaria.

    mailto:[email protected]

  • Percepciones del alumnado sobre la evaluacin formativa: Contraste de grupos de inicio y final de carrera

    32

    REDU. Revista de Docencia Universitaria, 2015, 13 (3), 13-32

    ngel Prez PueyoUniversidad de Len

    Departamento de Educacin Fsica y Deportiva [email protected]

    Doctor en ciencias de la actividad fsica y del deporte, Maestro especialista en Educacin fsica es Profesor Ayudante Doctor del Departamento de educacin Fsica y Deportiva de la Universidad de len. Miembro de la Red Nacional de Evaluacin Formativa y compartida sus principales lneas de investigacin son: la programacin, secuenciacin y desarrollo de las competencias bsicas, la evaluacin formativa y compartida en educacin y el EEES, la innovacin y las metodologas activas de aprendizaje en docencia universitaria y las propuestas metodolgicas relacionadas con las actitudes y valores.

  • 33

    REDU. Revista de Docencia Universitaria, 2015, 13 (nm. 3), 33-54

    Vol. 13 (3), Octubre - Diciembre 2015, 33-54 ISSN: 1887-4592

    Fecha de recepcin: 11-06-2014 Fecha de aceptacin: 16-11-2014

    La literatura cientfica sobre rankings universitarios: una

    revisin sistemtica

    Marina Toms FolchMnica Feixas

    M. Dolores Bernabeu-TamayoUniversidad Autnoma de Barcelona (Espaa)

    Jos M Ruiz RuizUniversidad Complutense de Madrid (Espaa)

    Resumen

    Presentamos una revisin sistemtica de la literatura cientfica sobre rankings universitarios. En concreto, hemos indagado sobre la existencia de tendencias en los mtodos utilizados en los estudios publicados en artculos de revistas especializadas. La muestra de artculos seleccionados de acuerdo a los criterios de bsqueda planteados ha sido de 28 artculos. Las fuentes de datos provienen de las bases de datos ISI y SCOPUS on-line utilizando las palabras clave rankings, higher

    Scientific literature on higher education rankings: a systematic review

    Marina Toms FolchMnica FeixasM. Dolores Bernabeu-TamayoUniversidad Autnoma de Barcelona (Espaa)

    Jos M Ruiz RuizUniversidad Complutense de Madrid (Espaa)

    Abstract

    A systematic review of scientific literature on university rankings is presented. This research has focused on the methodology used for the investigators in the reported publications. According to the search criteria 28 articles were included, from social and humanities ISI and Scopus database during the 2000-2012 period. The keywords used were: rankings, higher education and universityThe focus of the analysis was on

  • La literatura cientfica sobre rankings universitarios: una revisin sistemtica 34

    REDU. Revista de Docencia Universitaria, 2015, 13 (nm. 3), 33-54

    the following criteria : keywords , publication year, citation references, the subject area, met criteria, geographical scope , research methodology and methods impact of results, language of publication, citation index ,impact and assessment of the rankings. The results of the systematic review show that the publications have a more quantitative than qualitative orientation (n=22 vs. n=6), the approaches are more general than specific (n=21 vs. n=7) and the impact is more generalized than local (n=24 vs. n=4). Moreover, the highest number of the references were published between 2005-2010. We conclude that there is a growing interest and concern for studies focused on the research of university rankings.

    Key words: Educational quality, universities, evaluation, research, Social Sciences and Humanities.

    education y universidad en ciencias sociales y humanidades en el perodo 2000 a 2012. Para el anlisis del contenido de los artculos se han tomado los siguientes criterios: palabras clave, ao de publicacin, referencias que incluye el artculo, rea de conocimiento a la que alude o no alude, meta criterios, alcance geogrfico, tipo de estudio, metodologa de la investigacin usada, alcance de los resultados, idioma en el que est escrito el artculo, frecuencia de las referencias usadas, si trata las repercusiones de los rankings y si incluye valoracin de los rankings. Los resultados de la revisin sistemtica nos muestran que los artculos publicados tienen una orientacin ms cuantitativa (N=22) que cualitativa (N=6), con enfoques ms generalistas (N=21) que especficos (N=7), con pretensin generalizadora (N=24) frente (N=4) a los de alcance local y que la mayor concentracin de las referencias que incluyen los artculos analizados dentro del perodo analizado han estado publicados entre los aos 2005-2010. Se concluye que existe un creciente inters y preocupacin por los estudios, investigaciones y publicaciones de artculos sobre rankings universitarios.

    Palabras clave: calidad de la educacin, universidad, evaluacin, investigacin, ciencias sociales y humanas.

    Introduccin

    El objetivo general de esta aportacin es realizar una revisin sistemtica de las investigaciones sobre rankings universitarios publicadas en artculos de revistas especializadas.

    Los principales rankings universitarios internacionales son: Academic Ranking of World Universities, QS World University Rankings, The Times Higher Education Supplement, High Impact Universities, SCImago Institutions Rankings World Report, Global Universities Ranking, Performance Ranking of Scientific Papers for World Universities y el URAP (Ranking de universidades por rendimiento acadmico).

  • TOMS FOLCH, M., FEIXAS, M., BERNABEU-TAMAYO, M.D., RUIZ RUIZ, J.M. 35

    REDU. Revista de Docencia Universitaria, 2015, 13 (nm. 3), 33-54

    Los rankings universitarios tienen por objeto realizar una jerarquizacin de las instituciones de educacin superior (IES) basndose en parmetros e indicadores que pretenden medir la calidad de la educacin universitaria, de la investigacin y otros aspectos de la actividad acadmica, con el fin de informar y orientar a los estudiantes, a la opinin pblica y a la sociedad en general.

    En los ltimos aos se observa un gran inters por evaluar la calidad de la formacin y la investigacin que se desarrolla en las universidades y por encontrar instrumentos de anlisis de la poltica educativa y cientfica global que sirvan para informar y comparar los centros universitarios entre s. Con este propsito surgen los rankings.

    stos llevan implcitos una determinada posicin de cada institucin que hace inevitable las comparaciones entre ellas. El problema surge cuando se identifica una mejor posicin con una mejor calidad, dada la amplia connotacin de este trmino. Adems, el impacto que estn ocasionando los rankings dentro y fuera de las universidades es cada vez mayor debido a su difusin por los medios de comunicacin social.

    Evaluar las universidades y aplicar principios de competitividad entre ellas no es necesariamente malo. Lo criticable, segn Krger y Molas (2010), es que muchos de ellos promueven un cierto tipo de universidades que se ha impuesto, en el discurso poltico, como modelo a seguir. En este sentido los Berlin Principles on Rankings of Higher Education Institutions (2006) exponen claramente que ellos aportan un enfoque de mercado al proceso de evaluacin de las instituciones educativas.

    Los rankings universitarios son relativamente recientes. El ranking Shanghi Jiao Tong Universitys Academic Ranking of World Universities tuvo su primera publicacin en el 2003, el QS World University Rankings en el 2004, y el Times Higher Education World University Rankings en el 2010 al independizarse del QS. Los rankings globales que evalan un nmero ms extenso y una diversidad geogrfica ms grande, tal como son el Spanish National Research Council s Webometrics y el SCImago Institutions Ranking, tambin fueron creados recientemente. Los rankings nacionales de universidades son ms antiguos en algunos pases desarrollados; por ejemplo, el US News & World Report Best Colleges ranking empez a publicarse en 1985.

    En la actualidad se dispone de una multitud de rankings de entidades de todo el mundo sobre los estudios de grado (undergraduate ranking), de posgrado (graduate programs and discipline ranking) y sobre otros aspectos (investigacin, transferencia o su respuesta al compromiso social). Se evalan grados y postgrados y tienen influencia para decidir sobre el modelo de financiacin. En este sentido, las IES realizan un gran esfuerzo para divulgar la informacin sobre los mecanismos y resultados de calidad docente, investigadora, de transferencia y tambin de gobierno universitario (Flrez-Parra; Lpez Prez & Lpez Hernndez (2014)).

    Criterios e indicadores de calidad de la universidad medidos en los rankings

    En este apartado presentamos cuestiones relacionadas con la elaboracin de un ranking desde el alcance, metodologa, recogida de datos y criterios e indicadores que se usan en cada uno de ellos. Cada ranking se elabora con su metodologa particular.

  • La literatura cientfica sobre rankings universitarios: una revisin sistemtica 36

    REDU. Revista de Docencia Universitaria, 2015, 13 (nm. 3), 33-54

    De lo anterior se desprende que no deberan presentarse los resultados de un ranking sin acompaarlos de una explicacin detallada de la metodologa con la que han sido elaborados. En concreto, deben conocerse indicadores y pesos, as como una descripcin precisa de lo que mide cada indicador. Todo ello permitira a los destinatarios de esta informacin poder escoger el ranking que mejor se ajuste a sus necesidades particulares. Adems de los resultados globales del ranking, tambin es muy importante conocer los resultados y clasificacin que de ellos se desprende, de cada uno de los indicadores separadamente.

    Lo que diferencia el ranking de otro tipo de evaluacin es que se comparan diferentes productos/servicios y programas entre si y se establece un orden de calidad entre ellos. Esta metodologa adjudica valores numricos a los diferentes indicadores de calidad y calcula posteriormente un indicador sinttico que permite establecer un orden descendente desde el primero hasta el ltimo. Intrnsecamente se parte de la suposicin de que los diferentes productos, servicios u organizaciones estn en competicin entre s para saber quin es el mejor.

    Como cada ranking se elabora con su metodologa particular, no son directamente comparables, aunque se tienda inevitablemente a su confrontacin y, por tanto, generan cierta confusin. La mayora de rankings son producto de revistas, peridicos los cuales presumiblemente dan visibilidad a la clasificacin toda vez que se les critica por la mayor o menor fortaleza metodolgica y terica. Adems, la mayora evalan las universidades globalmente, pero algunos evalan solo disciplinas. Good Guides y The Guardian, por ejemplo, analizan tanto las disciplinas como las universidades en su conjunto (Van Dyke, 2005).

    Los principios propuestos que se deberan considerar para la elaboracin de los rankings son: propsito y objetivos del ranking; diseo y ponderacin de los indicadores; recopilacin y procesamiento de datos y presentacin de los resultados. Los criterios utilizados pueden ser evaluados en funcin de su validez, completitud, relevancia, comprensin y funcionalidad (fiabilidad).

    Los rankings estn pensados para validar la calidad de las principales funciones de las IES: la formacin, la investigacin, influenciar positivamente a la comunidad y fortalecer el sector productivo mediante la transferencia del conocimiento. Los indicadores utilizados por los rankings globales para medir la formacin de calidad incluyen: proporcin de estudiantes por docente, nivel educativo de los docentes, proporcin de candidatos a doctorado, y nmero de alumnos o docentes que han obtenido un premio nobel o una medalla Fields. Dos importantes rankings, QS y Times Higher Education, usan encuestas de reputacin acadmica, de enseanza, del empleador y de investigacin. Ninguno de ellos mide directamente el desempeo comparativo de los estudiantes.

    La mayora de los rankings universitarios tambin incluyen el volumen de investigaciones y de citaciones entre sus mediciones: QS utiliza citaciones por docente de Sciverse Scopus; Times Higher Education usa artculos acadmicos por empleado y nmero de citas absolutas del ndice Thomson Reuters; ARWU utiliza el nmero de artculos publicados en Nature and Science, al igual que los artculos indexados en el Science Citation Index-expanded y el Social Science Citation Index.

  • TOMS FOLCH, M., FEIXAS, M., BERNABEU-TAMAYO, M.D., RUIZ RUIZ, J.M. 37

    REDU. Revista de Docencia Universitaria, 2015, 13 (nm. 3), 33-54

    Las medidas de influencia en la comunidad y la empresa son indicadores bastante subutilizados en los rankings. QS mide la reputacin entre los empleadores por medio de una encuesta, mientras que RANK MINES Paris Tech mide el nmero de egresados que se encuentran dentro de los ejecutivos ms importantes del Fortune Global 500. En el mbito de la empresa, Times Higher Education mide los ingresos provenientes de la relacin con el sector productivo.

    Algunos rankings tambin toman en cuenta el nivel de Internacionalizacin. En un mundo cada vez ms globalizado ser tambin cada vez ms difcil argumentar en contra de la importancia de dicha variable en la compleja funcin de la calidad universitaria. El QS World Univeersity Rankings tiene en cuenta el nmero de estudiantes internacionales y tambin el nivel de internacionalizacin de las facultades; el The Times Higher Education Supplement la presencia internacional de estudiantes y profesorado. En esta lnea, el SCImago Institutions Rankings Word Report, tiene en cuenta los documentos cientficos que se publican en colaboracin con instituciones extranjeras. El Global Universities Ranking tambin tiene en cuenta las actividades internacionales.

    Otro criterio frecuentemente utilizado por los rankings universitarios es el impacto en internet, en particular en rankings que cubren a universidades en un rango ms amplio de pases como lo son Webometrics y QS America Latina.

    Algunos proveedores de rankings, como por ejemplo el Ranking 2011 en produccin y productividad en investigacin de las universidades pblicas espaolas realizaron una encuesta entre expertos preguntndoles sobre la importancia cuantitativa que asignaban a cada indicador. Promediando las respuestas obtenidas se obtuvieron los pesos de los distintos factores. En cambio, los responsables de otros rankings, como por ejemplo Academic Ranking of World Universities, asignan ms o menos arbitrariamente pesos a distintos indicadores que son decimales exactos con valores de por ejemplo 0.10, 0.20 etc.

    Un aspecto destacable es el nmero de universidades que se consideran en el ranking. Los hay que slo se aplican a 300 universidades. Otros trabajan con 500, 1.000 o 2.000 pero algn ranking concreto llega a abarcar 11.000 centros. En ocasiones slo se publican los resultados de las mejores universidades pero se estudia un grupo mucho ms amplio de ellas. Por ejemplo, el Academic Ranking of Word Universities revisa la produccin cientfica y acadmica de ms de 1000 universidades pero slo publica una lista de 500 centros universitarios clasificados a partir de diferentes indicadores.

    A pesar de todas las diferencias entre rankings (y su relacin con la calidad), la mayora de los indicadores (performance indicators) utilizados se suelen agrupar en tres bloques o grupos (Prez-Esparrells y Salinas, 1998): medidas de insumo (input measures) por ejemplo, profesorado, alumnado, recursos econmicos e instalaciones, medidas de proceso (process measures) y medidas de resultados (output measures)

    Van Dyke (2005) analiza el modelo de evaluacin que utilizan 10 informes universitarios (2 de EEUU, 2 de UK, 2 de Australia y los otros 4 de Alemania, Canad, Polonia y Asia). El tipo de evaluacin que tienen en comn es que evalan universidades de un pas (o regin) e incluyen casi a todas las universidades del pas (o regin). De estos 10 informes, 8 realizan sus correspondientes rankings. Estos 8 asignan pesos a diversos

  • La literatura cientfica sobre rankings universitarios: una revisin sistemtica 38

    REDU. Revista de Docencia Universitaria, 2015, 13 (nm. 3), 33-54

    indicadores, los otros 2 clasifican por diversos conceptos sin especificar las ponderaciones utilizadas y sin sintetizarlo todo en una sola cifra. En concreto, los aspectos que se miden en cada uno de los informes son: 1) Calidad del personal acadmico, 2) Calidad de los estudiantes que ingresan, 3) Calidad del programa de grado, 4) Calidad del programa de postgrado, 5) Recursos, 6) Opinin de los agentes implicados en la universidad (stakeholders) y 7) Otros. Ninguno de los 10 modelos los utilizan todos. El indicador ms comn es la nota de acceso a los estudios de grado (8 de 10).

    Por ltimo queremos poner de manifiesto las crticas ms comunes a nuestro parecer sobre los rankings.

    En primer lugar se cuestiona que el anlisis de la calidad de las universidades por medio de medidas cuantitativas como es el uso de los indicadores en los rankings sea lo ms adecuado. Bookstein et al. (2010) muestran como varios indicadores individuales de la base de datos Times Higher Education Survey (THES) - la puntuacin global, la ratio personal-estudiante, y los ratings entre iguales- demuestran una alta fluctuacin inaceptable entre ao y ao y critican de improcedente el resumen de las tablas para evaluar la mayora de las mejores universidades top 200 por razones de inestabilidad estadstica. Segn estos, hay demasiadas anomalas en las puntuaciones de los diversos ndices para que sean de uso en la gestin universitaria y sugiere el uso de una encuesta cualitativa.

    Otra de las crticas comnmente encontrada es el peso preponderante de la investigacin, en comparacin con la docencia y gestin, as como la imagen que representan los distintos mbitos de conocimiento, favoreciendo las ciencias exactas por encima de las otras. Efectivamente, la calidad de la investigacin suele tener un gran peso en los rankings ms prestigiosos. Se suelen evaluar las publicaciones, citaciones, conferencias y obtencin de financiacin competitiva para la investigacin. En concreto, el nmero de citaciones suele ser la medida del impacto de la investigacin. Un ejemplo de lo anterior lo podemos encontrar en el anlisis para el estado espaol en Buela (2012) en el que se han utilizado los siguientes factores y pesos: artculos en revistas indexadas JCR (0,1774), tramos de investigacin (0,1672), proyectos I+D (0,1651), tesis doctorares (0,1448), becas PPU (0,1279), doctorados con mencin hacia la excelencia (0,1279) y patentes (0,1130). Los anteriores pesos se han obtenido a partir de una encuesta a los catedrticos de universidad con al menos dos tramos de investigacin y a los titulares de universidad con al menos un tramo de investigacin.

    Un anlisis de la clasificacin de Shangai llevado a cabo por Billaut et al. (2009) utilizando herramientas de toma de decisiones de criterios mltiples, critica que los criterios que se utilizan no son relevantes, la metodologa de la agregacin es defectuosa, y el anlisis general sufre de una insuficiente atencin a las cuestiones fundamentales de estructuracin. Concluyeron que el ranking de Shanghai, a pesar de la repercusin meditica que recibe, no se califica como una herramienta til y pertinente para discutir la calidad de las instituciones acadmicas, y mucho menos para guiar la seleccin de los estudiantes y las familias o para promover reformas de los sistemas de educacin superior.

    Asimismo, las universidades con menor trayectoria histrica en investigacin y menos recursos destinados a promocionar la investigacin competitiva, tienen dificultades para salir bien posicionadas en las listas. No es obvio hasta que punto motiva

  • TOMS FOLCH, M., FEIXAS, M., BERNABEU-TAMAYO, M.D., RUIZ RUIZ, J.M. 39

    REDU. Revista de Docencia Universitaria, 2015, 13 (nm. 3), 33-54

    y afecta a los investigadores y a sus respectivos grupos el hecho de que su universidad se site en posiciones destacadas de los rankings. La influencia de los resultados de la investigacin en los rankings es muy clara y muy importante pero lo es menos la influencia en sentido inverso.

    A fin de superar algunos de los hndicaps de estas crticas, Boulton (2011) propone buscar nuevas dimensiones que analicen la diversidad de actividades y misiones de la universidad, que contemple medidas que favorezcan la investigacin y tambin las ciencias sociales y humanas. Sugiere el proyecto U-Map que contempla seis dimensiones: perfil de enseanza-aprendizaje, el perfil del estudiante, la actividad de investigacin, el intercambio de conocimiento, la orientacin internacional y la participacin territorial. Este sistema permiti