H2020 – RETO SOCIAL “Energía Segura, Limpia y Eficiente”

Jornada Presentación Programa de Trabajo 2016

PROCESO DE EVALUACIÓN PERSPECTIVA Y RECOMENDACIONES

DE UN EVALUADOR Marta Maroño

Departamento de energía CIEMAT

Madrid, 15 de Octubre de 2015 CDTI, C/ Cid, 4 28001-Madrid

El Proceso de Evaluación: Descripción y Actores Criterios de evaluación y puntuaciones El proceso de evaluación en la práctica El papel y requisitos de los evaluadores

CONTENIDO

H2020 – RETO SOCIAL “Energía Segura, Limpia y Eficiente” Jornada Presentación Programa de Trabajo 2016

El Proceso de Evaluación: Descripción y Actores

H2020 – RETO SOCIAL “Energía Segura, Limpia y Eficiente” Jornada Presentación Programa de Trabajo 2016

HORIZON 2020

4

Resumen del proceso de evaluación

Receipt of proposals

Individual evaluation

Consensus group

Panel Review Finalisation

Evaluators

Individual Evaluation

Reports

(Usually done

remotely)

Consensus Report

(May be done

remotely)

Panel report

Evaluation Summary Report

Panel ranked list

Eligibility check

Allocation of proposals to evaluators

Final ranked list

Fuente: H2020 Briefing Evaluators

HORIZON 2020

5

Proceso de evaluación: Descripción

Fuente: H2020 Briefing Evaluators

Proceso de evaluación: actores Coordinador de la convocatoria

Observador independiente

Expertos independientes

Rapporteur

Experto en aspectos éticos (si es necesario)

Moderador

Criterios de evaluación y puntuaciones

H2020 – RETO SOCIAL “Energía Segura, Limpia y Eficiente” Jornada Presentación Programa de Trabajo 2016

HORIZON 2020

8

Evaluation criteria • Three evaluation criteria:

− Excellence (relevant to

the topic of the call)

− Impact

− Communication activities

− Quality and efficiency of the

implementation

This criterion is not evaluated

in the first stage of a two-stage

procedure

Innovation Management: is a process which requires an understanding of both market and technical problems, with a goal of successfully

implementing appropriate creative ideas. Typical Output: new or improved product, service

or process. For consortium: it allows to respond to an external

or internal opportunity.

The criteria are adapted to each

type of actions, as specified in the

WP

Fuente: H2020 Briefing Evaluators

HORIZON 2020

9

Evaluation criteria

• Clarity and pertinence of the objectives • Soundness of the concept • Extent that proposed work is ambitious, has

innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches)

• Credibility of the proposed approach

Exce

llen

ce

Research and Innovation Actions/Innovation Actions/ SME instrument

Criterion in yellow is not evaluated in the first stage of a two-stage procedure

Fuente: H2020 Briefing Evaluators

• The expected impacts listed in the work programme under the relevant topic

• Enhancing innovation capacity and integration of new knowledge

• Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets

• Any other environmental and socially important impacts (not already covered above)

• Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant

Imp

act

Evaluation criteria Research and Innovation Actions/Innovation Actions/ SME instrument

Fuente: H2020 Briefing Evaluators

HORIZON 2020

11

Evaluation criteria

• Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources

• Complementarity of the participants within the consortium (when relevant)

• Appropriateness of the management structures and procedures, including risk and innovation management

Imp

lem

en

tati

on

All types of action

Criterion in yellow is not evaluated in the first stage of a two-stage procedure

Fuente: H2020 Briefing Evaluators

Operational capacity

Fuente: H2020 Briefing Evaluators

HORIZON 2020

13

Interpretation of the scores The proposal fails to address the criterion or cannot be assessed due to missing or incomplete information.

Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses.

Fair. The proposal broadly addresses the criterion, but there are significant weaknesses.

Good. The proposal addresses the criterion well, but a number of shortcomings are present.

Very Good. The proposal addresses the criterion very well, but a small number of shortcomings are present.

Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor.

0

1

2

3

4

5

Fuente: H2020 Briefing Evaluators

El Proceso de Evaluación en la práctica

H2020 – RETO SOCIAL “Energía Segura, Limpia y Eficiente” Jornada Presentación Programa de Trabajo 2016

Instrucciones que recibe el evaluador: Evaluación individual (remota):

1) Identificar claramente tipo de acción RIA, IA, Instrumentos SME, CSA, ERA-NET Cofund,... 2) Leer la propuesta y evaluar cumplimiento de los criterios de evaluación de acuerdo a la convocatoria

Tal y como está. Descartar páginas con marca de agua Incluir comentarios y puntuaciones para TODOS los criterios. Usar

todo el intervalo, incluidos medios puntos, el cero y el cinco. Reflejar limitaciones en el cumplimiento de un criterio bajando la

puntuación y justificar. Todos y cada uno de los criterios debe alcanzar la puntuación mínima

para que una propuesta resulte elegida. Evaluar la capacidad operativa del consorcio

Instrucciones que recibe el evaluador: Reunión de consenso (central): Cada experto aporta sus comentarios sobre cada criterio

destacando aspectos positivos o fuertes y aquellos que cree que debilitan la propuesta (“weaknesses” o “shortcomings”)

Aplicar el concepto de “Open minded” para llegar a un consenso respecto a la valoración de cada criterio

La puntuación de cada criterio se decide al final.

RESPONSABILIDAD: Significant funding decisions will

be made on the basis of your assessment

H2020-LCE-2014 RIA- Perspectiva de un evaluador

EXCELENCIA IMPACTO CALIDAD Y EFICIENCIA DE IMPLANTACION

Evidencias suficientes (p ej. en forma de resultados previos) que den credibilidad. Descripción muy buena del estado del arte. Objetivos ambiciosos con fundamento conceptual fuerte. Demostración nivel TRL alcanzado

Estrategias para abordar todos los aspectos detallados en la convocatoria incluyendo impacto social y MA Mecanismos para mejorar capacidad de innovación e integración de los nuevos conocimientos. Plan detallado de explotación de resultados (Propiedad Intelectual) que garantice impacto

Coordinador único responsable. Descripción clara de las estructuras de gestión. Plan de gestión de la innovación. Plan de gestión de Propiedad Intelectual Descripción proceso de toma de decisiones Demostración de la Capacidad Operativa de todos los miembros del consorcio

Aspectos que pueden aumentar las oportunidades de éxito

EXCELENCIA IMPACTO CALIDAD Y EFICIENCIA DE IMPLANTACION

Aspectos que pueden aumentar las oportunidades de éxito

Estructuras de gestión que garanticen buen desarrollo del proyecto Coordinador único responsable con experiencia en gestión industrial Imprescindible un plan de negocio y medidas de explotación Plan de gestión de riesgo. Prever planes de mitigación Plan de gestión de la propiedad intelectual (IPR) Capacidad operacional del consorcio

Descripción clara de objetivos y estado del arte. Identificar punto de partida y final de la propuesta. Evidencias de que la propuesta tiene fundamentos sólidos, es creíble y proporciona soluciones al reto (“challenge”) planteado en la convocatoria. Demostrar grado de desarrollo alcanzado (TRL) para la tecnología objeto de la propuesta

Evidencias de que los resultados del proyecto permitirán alcanzar el impacto definido en la convocatoria y cómo los resultados del proyecto contribuirán al impacto esperado Medidas para maximizar el impacto. Actividades de comunicación

H2020-LCE-2014 RIA- Perspectiva de un evaluador

- Elaborar la propuesta ajustándose al reto y alcance de la convocatoria.

- Incluir información clara de todos los aspectos que menciona la convocatoria

- Asegurar coherencia entre grado de desarrollo propuesto y TRLs definidos en la convocatoria

- Para convocatorias con TRLs altos: demostrar experiencia en gestión industrial, incluir planes de gestión del riesgo, de negocio y explotación, de gestión de la innovación.

¡Muy importante!: Facilitar al evaluador la lectura de las propuestas:

• Utilizar nomenclatura recogida en la convocatoria • Organizar la información de forma que sea sencillo localizarla • Utilizar gráficos, tablas, esquemas…

Algunas recomendaciones:

El papel y requisitos de los evaluadores

H2020 – RETO SOCIAL “Energía Segura, Limpia y Eficiente” Jornada Presentación Programa de Trabajo 2016

HORIZON 2020

22

Role of independent experts

• As an independent expert, you evaluate proposals submitted in response to a given call

• You are responsible for carrying out the evaluation of the proposals yourself

− You are not allowed to delegate the work to another person!

• You must close reports in the electronic system within a given deadline

− This is part of your contractual obligations!

− The allowance/expenses you claim may be reduced or rejected otherwise

• Significant funding decisions will be made on the basis of your assessment

Source: H2020 Briefing Evaluators

HORIZON 2020

23

Guiding principles • Independence

− You are evaluating in a personal capacity − You represent neither your employer, nor your country!

• Impartiality

− You must treat all proposals equally and evaluate them impartially on their merits, irrespective of their origin or the identity of the applicants

• Objectivity

− You evaluate each proposal as submitted; meaning on its own merit, not its potential if certain changes were to be made

• Accuracy

− You make your judgment against the official evaluation criteria and the call or topic the proposal addresses, and nothing else

• Consistency

− You apply the same standard of judgment to all proposals

Source: H2020 Briefing Evaluators

HORIZON 2020

24

Otros requisitos Confidencialidad:

Tanto en cuanto a los documentos que se manejan como en cuanto a la identidad de los demás expertos

No se permite establecer contacto con ningun miembro del consorcio, subcontratas o terceras partes implicadas

No está permitido comentar ni difundir ningún aspecto relacionado con la evaluación o las propuestas

Conflictos de interés:

Los expertos deben declarar cualquier situación que pueda suponer un conflicto de interés en relación a su participación en la evaluación de las propuestas que le asignen antes de firmar el contrato.

Fuente: basado en H2020 Briefing Evaluators

H2020 – RETO SOCIAL “Energía Segura, Limpia y Eficiente” Jornada Presentación Programa de Trabajo 2016

Datos de contacto: Dr. Marta Maroño

Departamento de Energía, CIEMAT marta.marono@ciemat.es

PROCESO DE EVALUACIÓN PERSPECTIVA Y RECOMENDACIONES DE

UN EVALUADOR