LA EVALUACIÓN EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN

Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela

carlos@acsucyl.es sonia@acsucyl.eshttp://www.acsucyl.es

VIII FORO SOBRE LA EVALUACIÓN DE LA CALIDAD DE LA INVESTIGACIÓN Y DE LA EDUCACIÓN SUPERIOR

Santander, 31 de mayo de 2011

Presentación de ACSUCyL Política de calidad de ACSUCyL Evaluación de la investigación en ACSUCyL Órganos de evaluación de ACSUCyL ¿Por qué la evaluación EX-POST de los PI? Evaluación EX-POST: criterios y procedimientos Descripción e indicadores de la evaluación EXPOST 2007 Resultados de la evaluación EXPOST 2007 Discriminación de los criterios utilizados Correlación de los criterios a partir de los resultados Grado de discrepancia entre los evaluadores externos ¿Qué piensan los IP de la evaluación EXPOST de sus

proyectos? Conclusiones

GUÍA DE LA PRESENTACIÓN

Órgano de evaluación externa del sistema universitario de Castilla y León.

Agencia creada en 2001, en la actualidad es ente público de derecho privado de la Administración de Castilla y León.

Las actividades de evaluación, acreditación y certificación que desarrolla la Agencia persiguen la realización de los siguientes fines de interés general:

Potenciar la mejora de la actividad docente, investigadora y de gestión de las Universidades y de los centros de investigación y de educación superior, favoreciendo la mejora de la competitividad y el desarrollo económico de Castilla y León…

Artículo 35.Ley 3/2003 de Universidades de Castilla y León

ACSUCyL

Respetar y hacer cumplir los principios establecidos en el Código Ético que determinan la conducta de las personas que trabajan o que actúan en nombre de ACSUCYL

Garantizar la autonomía e independencia de los órganos de evaluación en el ejercicio de sus funciones. 

Garantizar la transparencia en todas las actividades desarrolladas. 

Establecer mecanismos de responsabilidad para la propia rendición de cuentas con fines de mejora.

POLÍTICA DE CALIDAD DE ACSUCyL

ACTUACIONES DE ACSUCyL EN EL ÁMBITO DE LA

EVALUACIÓN DE LA INVESTIGACIÓN

Institutos Universitarios de Investigación (creación o adscripción, y evaluaciones periódicas cada cinco años).

Grupos de Investigación de Excelencia (GIE).

Proyectos de Investigación.

Evaluación Ex – Post de los proyectos de investigación.

Ayudas para la contratación de Personal Investigador de Reciente Titulación.

Evaluación de los resultados de investigación de los investigadores.

Evaluación de Congresos, Simposios y Reuniones Científicas.

Comisión de Evaluación de la Investigación (CEI) Coordinadores de ÁreaPaneles Científicos

La Dirección de la Agencia nombra a los Paneles Científicos, a los Coordinadores y a la CEI, entre especialistas externos al Sistema Universitario de Castilla y León.

ÓRGANOS DE EVALUACIÓN DE ACSUCyL

Es la Comisión de ACSUCYL competente en los procesos relacionados con la evaluación de la calidad de las actividades de investigación

COMISIÓN DE EVALUACIÓN DE LA INVESTIGACIÓN (CEI)

Nombramiento: la Dirección de la Agencia Número de miembros: diez

Perfil: preferentemente, académicos y profesionales de reconocido prestigio, con una significativa trayectoria docente e investigadora, y experiencia en gestión y en procesos de evaluación de la calidad en el ámbito universitario. (Tres sexenios)

Composición: en su designación, se procura el equilibrio entre los diferentes ámbitos de conocimiento.

Procedencia: externa al Sistema Universitario de Castilla y León.

Periodo de nombramiento: un plazo máximo de 4 años.

Valcárcel Cases, Miguel (presidente) Química Analítica Universidad de Córdoba

Badiola Diez, Juan José Sanidad Animal Universidad de Zaragoza

Brillas Coso, Enric Química Física Universidad de Barcelona

José Vilches Troya Histología Universidad de Cádiz

Chacón Fuertes, Pedro Filosofía Universidad Complutense Madrid

Echenique Elizondo, Mª Teresa Lengua Española Universidad de Valencia

Feliu Batlle, Vicente Ingeniería de Sistemas y Automática Universidad Castilla la Mancha

Franch Benavent, Ricardo Historia Moderna Universidad de Valencia

Moreno Rodríguez, María del Carmen Psicología Universidad de Sevilla

Ruiz-Huerta Carbonell, Jesús Economía Aplicada Universidad Rey Juan Carlos

MIEMBROS DE LA CEI

Práctica consustancial a la actividad investigadora de calidad.

La Junta de Castilla y León en las convocatorias de ayudas destinadas a financiar Programas de Apoyo a Proyectos de Investigación, establece que se evaluarán los resultados de las actividades de investigación mediante una memoria final.

En la convocatoria de estas ayudas, publicada en 2009, establece también que para valorar uno de los criterios de selección de los proyectos y para determinar las subvenciones, se tenga en cuenta la “consecución de objetivos, relevancia científica o impacto socioeconómico” de los proyectos previamente financiados.

La Consejería de Educación de la Junta de Castilla y León ha solicitado la colaboración ACSUCYL para la valoración de los aspectos relativos a la “consecución de objetivos y la relevancia científica” de los proyectos.

¿POR QUÉ LA EVALUACIÓN EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN?

La CEI ha elaborado un “Manual de procedimiento de evaluación EX-POST de proyectos de investigación”.

La CEI define los criterios y protocolos de evaluación que se aplicarán para la evaluación de los proyectos financiados en cada convocatoria. En ellos se especifican los distintos elementos y aspectos que tendrán que tomar en consideración los órganos de evaluación para la emisión de sus informes.

ACSUCYL publica en su página web estos protocolos de evaluación.

ACSUCYL remite sus informes a la Junta de Castilla y León, quien a su vez se los remite a los IP de los proyectos.

LA EVALUACIÓN EX-POST EN ACSUCYL

Número de proyectos: 212.

Duración del proceso de evaluación: 105.

Número de evaluadores: 403.

Número de coordinadores: 25.

% Mujeres (evaluadores/coordinadores): 24%

% Máximo de concentración (eval./coord): 13%

Desviación típica > 1 entre el informe de la CEI y los

informes externos : 12%

Nº de recursos presentados: <5%

INDICADORES PROCESO DE EVALUACIÓN EX-POST DE

PROYECTOS DE INVESTIGACIÓN 2007

A B Nº %

Humanidades 33 1 34 16,0

CC. Sociales 28 10 38 17,9

CC. Experimentales 31 5 36 17,0

Ingeniería/ Tecno/Arq. 31 4 35 16,5

Biosanitario 63 6 69 32,5

TOTAL 186 26 212 100

Evaluación EXPOST: Proyectos de Investigación financiados (a iniciar en 2007)

InstituciónTipo (Nº) TOTAL

Humanidades16%

CC. Sociales18%

CC. Experimentales

17%

Ingeniería/ Tecno/Arq.

16%

Biosanitario33%

EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN (a iniciar en 2007)

(Memorias evaluadas por campos de conocimiento)

A B Nº %Universidad de Burgos 16 5 21 9,9Universidad de León 29 4 33 15,6Universidad de Salamanca 76 6 82 38,7Universidad de Valladolid 52 5 57 26,9C.S.I.C. y Hospitales 9 1 10 4,7Universidades Privadas 4 5 9 4,2TOTAL 186 26 212 100

Evaluación EXPOST: Proyectos de Investigación financiados (a iniciar en 2007)

InstituciónTipo (Nº) TOTAL

Univ. de Burgos10%

Univ. de León15%

Univ. Salamanca39%

Univ. Valladolid27%

CSIC/Hospitales5%

Univ. Privadas4%

EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN (a iniciar en 2007)

(Memorias evaluadas por entidades gestoras)

0102030405060708090

100

Deficiente Cuestionable Aceptable Bueno Muy bueno

8,112,9 16,7

48,9

13,4

30,8

15,4

34,6

19,2

0,0

%

EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN (a iniciar en 2007)

Resultados por tipo de proyecto

Tipo A (Séniors)

Tipo B (Noveles)

RESULTADO DE LA EVALUACIÓN EX-POST 2007

0

10

20

30

40

50

60

70

80

90

100

Humanidades CC. Sociales CC. Experimentales

Ingeniería Biosanitario

%

EVALUACIÓN EXPOST PROYECTOS INVESTIGACIÓN 2007Resultados por campos científicos

Deficiente

Cuestionable

Aceptable

Bueno

Muy bueno

RESULTADO DE LA EVALUACIÓN EX-POST 2007

CRITERIOSPuntuación máxima del

criterio

% Proyectos con puntuación ≥ 80% del

valor máximo del criterio

% Proyectos con puntuación < 50% del

valor máximo del criterio

a.1. Cumplimiento del plan de trabajo 20 42,5 17,5

b.1. Consecución de los objetivos previstos 20 o 30 44,3 16,5

b.2. Eficiencia y eficacia del gasto 10 o 0 78,5 6,5

c.1. Significación de los resultados alcanzado 20 36,8 22,6

c.2. Calidad e impacto científico-tecnológico 20 28,3 37,7

c.3. Capacidad formativa y consolidación 10 29,3 38,2

DISCRIMINACIÓN DE LOS CRITERIOS UTILIZADOS EN LA EVALUACIÓN EX-POST 2007

CRITERIOS

% Proyectos con puntuación ≥ 80% del valor máximo del

criterio que han obtenido una valoración global ≥80%

Correlación de los criterios con los

resultados

a.1. Cumplimiento del plan de trabajo 50 0,82

b.1. Consecución de los objetivos previstos 84,4 0,84

b.2. Eficiencia y eficacia del gasto 33,6

c.1. Significación de los resultados alcanzado 59 0,88

c.2. Calidad e impacto científico-tecnológico 65 0,77

c.3. Capacidad formativa y consolidación 38,7

CORRELACIÓN DE LOS CRITERIOS UTILIZADOS, A PARTIR DE LOS RESULTADOS OBTENIDOS EN LA EVALUACIÓN EX-POST 2007

0

1

2

3

4

5

6

7

8

9

Dife

renc

ia e

stan

dariz

ada

sobr

e 1

0 pu

ntos

Humanidades CC. Sociales CC. Experim. Ingeniería Biosanitario GLOBAL

Diferencia GLOBAL por campos científicos entre los evaluadores del panel científico de la EVALUACIÓN EXPOST

de los Proyectos de Investigación iniciados en 2007

GRADO DE DISCREPANCIA ENTRE LOS EVALUADORES EXTERNOS

¿QUE PIENSAN LOS INVESTIGADORES PRINCIPALES DE LA EVALUACIÓN

EXPOST DE SUS PROYECTOS?

(sobre una muestra de 54 IP)

SÍ70%

NO30%

EL IP CONSIDERA CORRECTA LA VALORACIÓN RECIBIDA EN EL INFORME EXPOST 2007 DE ACSUCYL

0102030405060708090

100

Nada adecuados Poco adecuados Adecuados Muy adecuados

0

19

73

8

%

VALORACIÓN DEL IP DE LOS CRITERIOS DE EVALUACIÓN APLICADOS POR ACSUCYL EN LA EXPOST 2007

0102030405060708090

100

Muy mala Mala Buena Muy buena

2

18

70

10

%

VALORACIÓN DEL IP DE LA CALIDAD DE LOS ARGUMENTOS UTILIZADOS PARA JUSTIFICAR LAS VALORACIONES EN LOS

INFORMES EXPOST 2007 DE ACSUCYL

0102030405060708090

100

Nada útil Poco útil Útil Muy útil

0

20

62

18

%

VALORACIÓN DEL IP DE LOS COMENTARIOS (PUNTOS FUERTES / SUGERENCIAS DE MEJORA) CONTENIDOS EN LOS

INFORMES EXPOST 2007 DE ACSUCYL

0102030405060708090

100

No Si

12

88

%

¿CONSIDERA EL IP APROPIADOS LOS TÉRMINOS EN LOS QUE HA SIDO REDACTADO EL INFORME EXPOST 2007?

CONCLUSIONES

No hay suficiente cultura entre los IP de esforzarse en la realización de las memorias finales de los proyectos.

Los criterios de la evaluación EXPOST deben ser conocidos por los IP.

Es necesario utilizar referentes claros en las evaluaciones que eviten que el grado de discrepancia entre los evaluadores sea elevado.

Incrementar el impacto de la evaluación EXPOST en las nuevas convocatorias.

LA EVALUACIÓN EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN

Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela

carlos@acsucyl.es sonia@acsucyl.eshttp://www.acsucyl.es

VIII FORO SOBRE LA EVALUACIÓN DE LA CALIDAD DE LA INVESTIGACIÓN Y DE LA EDUCACIÓN SUPERIOR

Santander, 31 de mayo de 2011