Agencia Nacional de Evaluación y Prospectiva (ANEP)epuc.cchs.csic.es/docs/Victoria Ley.pdf ·...

Agencia Nacional de Evaluación y Prospectiva (ANEP)

Dirección General de Investigación y Gestión del Plan Nacional

CENTRO DE CIENCIAS HUMANAS Y SOCIALES

Instituto de Estudios Documentales sobre Ciencia y Tecnología

CSIC

11 de mayo de 2011

II FORO CCHSEvaluación de la actividad científica en CienciasHumanas y Sociales en la Agencia Nacional de

Evaluación y Prospectiva

Victoria Ley


2Dirección General de Investigación


2

FUNCIONES DE LA ANEP

• Evaluar la calidad científico-técnica de las propuestas de I+D+I

que solicitan financiación, tanto de la Administración pública

como de otras instituciones públicas y privadas y realizar estudios

de prospectiva

• Contribuir a que las decisiones de asignación de recursos para

I+D+i se realicen sobre la base de criterios de excelencia y calidad

científico-técnica

• En definitiva, contribuir a la mejora del sistema público de Ciencia

y Tecnología.

LA ANEP EN EL SISTEMA DE I+D+I




3

Actividades de evaluación en la ANEP en 2010

Se han evaluado 110 convocatorias 17 CCAA, 8 ministerios

Un total de 24.924 solicitudes

Se han elaborado 67.135 informes de evaluación

Han participado 11.835 expertos

Tipos de solicitudes MICINN/AGE CCAA UNIV FUNDA OTROS TOTAL

Proyectos 9732 1303 1187 596 126 12944

Recursos humanos 9581 990 396 12 57 11036

Otros 749 23 66 96 10 957

Total 20062 2316 1649 704 193 24924




4

EVALUACIÓN EN LA ANEP

ANEP

26 equipos

de coordinación

(190 expertos/3 años)

INFORME

Expertos

“peers”+30.000

Informes de expertos

Selección de expertos

Aplicación Web de

Evaluación

PROYECTOS

INSTITUCIÓN CONVOCANTE

Investigadores

Técnicos

Industria

Gestores

¡Gracias!




5

BIOL-BIOMED

BIOL FUND Y SIST.

BIOMEDICINA

MEDICINA

ALIMENTOS

BIOL VEG. ANI. Y ECOL.

AGRICULTURA

GANADERÍA Y PESCA

INGENIERÍAS 13 %

ING. ELECTRICA

ING. MECANICA

COMUNICACIONES

INFORMATICA

MATERIALES

NG. CIVIL

TECNOLOGÍA QUÍMICA

TRANSFERENCIA DE CONOCIMIENTO Y TECNOLOGÍA: 10 % 40 % INGENIERÍAS

30 % BIO-BIOTEC-BIOMED

20 % FUNDAMENTAL

10% OTROS

HUMANIDADES 19 %

HISTORIA Y ARTE

LITERATURA, LENGUA

CIENCIAS SOCIALES

ECONOMIA

EDUCACION

CIENCIAS JURÍDICAS

PSICOLOGÍA

42 % 13 %19 %

FUNDAMENTALES

MATEMÁTICAS

FÍSICA Y C. DEL ESPACIO

QUÍMICA

CIENCIAS DE LA TIERRA

17 %

Distribución por áreas (26 áreas)




6

Otras actividades de la ANEP

Relaciones Institucionales

Reuniones de coordinación con Agencias de CCAA

Reuniones de coordinación con la Red de Agencias Europeas

Coordinación gestión del Plan Nacional

Actividades de análisis y estudios

Análisis mujeres/hombres

Datos estadísticos de evaluaciones en la ANEP

Ejercicio de análisis en colaboración con la ESF

Documentos Comisión Asesora

Grupos de trabajo

Criterios de evaluación del Mérito Tecnológico

Criterios de evaluación en Humanidades

Criterios de evaluación en Ciencias Sociales

Criterios de evaluación en Ciencias Jurídicas

Criterios de evaluación en Medicina Clínica




7

En cuanto a los objetivos del Foro

► El patrón de la comunicación científica en Humanidades y Ciencias Sociales es diferente al de las

Ciencias Exactas y Experimentales ¿debe haber esquemas de evaluación científica

diferenciados? ¿hasta qué punto? ¿son suficientes las adaptaciones que se han hecho en la

última década en las agencias de evaluación?

► España es uno de los países del mundo con más indicadores y herramientas para las revistas

científicas de Humanidades y Ciencias Sociales ¿se percibe esto como una ventaja para la

evaluación?

► ¿Qué disciplinas –dentro de las Humanidades y de las Ciencias Sociales‐ presentan más

dificultades en los procesos de evaluación? ¿por qué?

El libro. ¿Cómo se debe proceder a su evaluación?

La aparición de nuevas herramientas de cobertura española para la evaluación de las

Humanidades y Ciencias Sociales ¿cómo se percibe? (avance, pérdida de dependencia de

fuentes extranjeras, complemento a las bases de datos internacionales, concesión a las

Humanidades y Ciencias Sociales, fuentes necesarias para poder evaluar bien la producción

científica)

¿Cómo aceptan los investigadores esta “cultura de la evaluación”? ¿cuáles son sus principales

críticas?




8

Un problema reconocido por las instituciones responsables de la evaluación y por la comunidad científica: la falta de unos criterios aceptados, y ajustados a la realidad de la investigación para una evaluación objetiva

Siendo conscientes de las peculiaridades existentes entre áreas, los criterios deben ser flexibles pero sin comprometer el objetivo último de uso de criterios internacionales y lo más homogéneos posibles para todas las áreas

La aplicación de estos criterios debe incentivar la calidad y difusión de los resultadosy promover que tengan un reconocimiento internacional

Transferencia. Uso del conocimiento científico para resolver problemas técnicos: optimización de un proceso, producción de software, creación de bases de datos.

-----------------------------------------------------------------------------------------

El aspecto más controvertido en la evaluación de CC Humanas y Sociales es el tratamiento de las publicaciones científicas (libros y revistas).

En cualquier caso, debe valorarse adecuadamente:

• La calidad de las revistas• Las publicaciones en libros• El impacto (no solo local) del resultado. Tanto del investigador (citas) como de la publicación (índice de impacto)

Puntos claves en la evaluación de la calidad científica en CCSS




9

Criterios de Evaluación de Investigadores

Trayectoria científica del solicitante teniendo en cuenta sus aportaciones en cuanto al mérito y relevancia científica

Calidad de las publicaciones y su contribución personal en las mismas

Aportaciones científicas o tecnológicas no publicables pero acreditadas: patentes, contratos, prototipos, informes, otros

Potencial del solicitante como investigador. Capacidad para liderar un grupo de investigación

Reconocimiento internacional

Estancias en otros centros y sus contribuciones en los proyectos en los que ha trabajado, intereses científicos, líneas de investigación que considera relevantes y en las cuales les gustaría trabajar

Interdisiplinariedad, líneas de investigación de frontera, transferencia, colaboraciones.

Formación de estudiantes y doctorandos.




10

Condiciones de calidad de una publicación científica

Una publicación de investigación aporta un resultado novedoso y original que suponga un avance científico en un campo del saber

Debe estar al alcance de la comunidad científica: haber sido difundidapor un medio (libro, web, revista)

La publicación debe someterse a una evaluación por pares

Los resultados de la investigación deben ser susceptibles de réplica y verificación.

Para ser considerada relevante (en el sentido de hacer avanzar el conocimiento), la publicación ha de tener impacto

Los autores firmantes deben ser los que han realizado el trabajo, si es posible indicando el autor principal y el responsable

Libros: Deben suponer un avance en el conocimiento o una innovación metodológica y ser fruto de la investigación o de la reflexión bien documentada.

• Valoración de la editorial, selección, citas y reseñas, difusión.




11

Indicadores de la producción científica y tecnológica

Publicaciones Cantidad (poco útil) Calidad (más difícil)

Índice H, G.. (de individuos) Índice de impacto (de revistas)

Tipos de publicaciones: artículos, libros, congresos, web.. Autores

Desarrollos tecnológicos Patentes (solicitadas, concedidas, explotadas) Contratos Spin off

Ojo: los indicadores son peligrosos, limitados, no sirven para comparar áreas, son dependientes del tiempo, interpretables.. Pero pueden ser útiles

Lo mejor es combinar el uso de indicadores con buenos expertos, con sentido común

*H: nº de artículos que han recibido al menos h citas.




12

Porcentaje de éxito en la convocatoria de proyectos de la DGIPN

ÁREAS TOTAL % ÉXITO HOMBRES % ÉXITO MUJERES2008 2009 2010 2008 2009 2010 2008 2009 2010

TOTAL 66,2 63,4 60,1 68,3 66,3 62,6 61,3 56,8 54,9

CIENCIAS de la VIDA 65,6 61,5 59,0 67,7 66,1 61,9 62,0 53,8 54,4

AGL Rec Tec. Agr. 61,8 60,0 55,7 61,7 64,9 57,6 61,9 53,4 53,1

BFU Biología Fund 74,8 73,8 67,5 74,8 76,5 68,3 74,8 67,4 65,7BIO Biotecnología 77,9 65,9 72,1 81,1 65,4 73,6 69,4 66,7 66,7SAF Biomedicina 58,6 53,8 54,0 62,8 59,6 57,9 50,4 44,7 48,5CIENCIAS EXP E INGENIER 72,4 70,5 67,4 73,5 72,5 69,0 67,8 61,9 60,1

AYA Astron Astrofí 94,2 94,8 93,0 95,3 93,9 93,4 88,9 100,0 90,0

DPI Diseño Prod. Ind. 72,2 57,4 53,5 72,2 55,6 55,4 72,2 67,9 41,4FIS Física 72,6 72,7 73,9 72,9 76,7 74,5 70,6 43,8 70,6

FPA Física de Partículas 100,0 100,0 95,8 100,0 100,0 97,6 100,0 100,0 83,3MAT Materiales 73,3 65,1 68,0 73,3 69,6 71,3 73,1 52,9 60,7MTM Matemáticas 77,2 86,1 80,4 78,3 87,8 80,9 70,8 77,8 77,8

TEC Tec. Electr. yCom. 70,7 81,3 67,4 71,6 81,4 66,3 65,4 80,8 74,1

TIN Tecn Informáticas 59,0 56,7 53,7 61,9 59,3 56,7 47,7 46,6 41,5

HUMANIDADES Y C. SOC 58,0 57,2 54,0 61,2 59,8 57,3 51,9 52,7 49,0

CSO C. polít, soc. y geog. 48,3 57,4 50,3 51,4 58,2 52,7 41,3 55,6 45,3

DEP C. del deporte 35,3 39,7 46,2 25,0 44,7 42,9 60,0 28,6 60,0DER Derecho 58,2 53,4 61,6 67,4 56,9 69,6 34,5 44,6 48,1ECO Economía 51,0 46,8 42,6 53,3 49,2 46,2 45,8 40,3 35,0

EDU Ciencias educación 46,3 49,7 47,3 48,6 45,5 50,0 43,1 55,2 43,9FEM Est. de la mujer 39,5 34,9 0,0 11,1 75,0 0,0 47,1 30,8

FFI Filología y Filosofía 65,8 65,9 61,5 70,1 71,1 59,6 59,1 59,6 63,6

HAR Historia y Arte 69,9 72,5 74,0 71,0 75,8 75,8 67,8 65,7 70,7PSI Psicología 53,1 51,2 41,3 54,4 56,3 46,5 51,3 43,2 35,1MEDIO AMBIENTE 73,8 67,8 61,6 73,2 68,1 61,2 75,7 66,9 62,7BIA Construcción 49,2 37,6 51,5 43,8 38,5 50,6 72,7 33,3 56,3CGL Biod. Tier y C. Glob 76,3 71,8 62,5 75,6 74,3 64,3 78,5 65,4 58,3

CTM C. y Tec. Medioamb. 70,8 66,3 59,5 66,0 62,7 58,6 82,5 76,2 61,0

CTQ C. y Tec. Químicas 78,5 72,2 65,1 81,3 73,1 62,2 71,3 69,9 70,4ENE Energía 69,8 68,3 60,8 70,6 69,5 60,8 66,7 64,0 61,1

TRA Transportes 69,2 58,5 59,6 66,7 56,4 62,5 100,0 100,0 44,4


Dirección General de Investigación y Gestión del Plan Nacional

¡Muchas gracias!

Agencia Nacional de Evaluación y Prospectiva (ANEP)epuc.cchs.csic.es/docs/Victoria Ley.pdf ·...

Documents

Transcript of Agencia Nacional de Evaluación y Prospectiva (ANEP)epuc.cchs.csic.es/docs/Victoria Ley.pdf ·...