Evaluación de

proyectos de I+D+I

Dr. Juan Vicente García Manjón

Investigación: Conjunto de actividades que de forma organizada pretenden conseguir la generación de nuevos conocimientos de carácter genérico u orientados a un campo de aplicación determinado.

(Manual de Frascati)

Desarrollo tecnológico: Consiste en trabajos sistemáticos basados en conocimientos existentes, obtenidos mediante investigación y/o experiencia práctica, que se dirigen:

– A la fabricación de nuevos materiales productos o dispositivos– A establecer nuevos procesos, sistemas y servicios– A la mejora sustancial de los ya existentes.

(Manual de Frascati)

Innovación: Conjunto de actividades que derivan en el desarrollo de nuevos productos y servicioso la mejora sustancial de los ya existentes o en el diseño o mejora de los procesos, todo ello para su puesta en el mercado.(incluye las nuevas formas de gestión y comercialización)

(Manual de Oslo)

Desarrollo Tecnológico

InnovaciónInvestigación

Generación de nuevos

conocimientos de carácter genéricoDescubrimientos

Generación de nuevos

conocimientos enun campo

InvencionesPatentes

Nuevos materiales, productos o Dispositivos

Nuevos procesos, sistemas o ServiciosPrototipos

NuevosProductos

NuevosProcesos

PROYECTO DE I+D+I

Evaluación ex anteInterna y externa

SeguimientoFollow-up / Control

Evaluación ex postEfectos e impacto

¿Para qué evaluamos?

Proyectos con alto riesgo y avances esperados poco significativos

Proyectos con poco riesgo y avances esperados poco significativos

Proyectos con alto riesgo y avances esperados muy significativos

Proyectos con bajo riesgo y avances esperados muy significativos

Fuente: Elaboración propia

Avance esperado sobre SOAResultados esperados

Riesgo

• Relevancia• Impacto esperado• Excelencia científico técnica• Calidad del grupo/ consorcio de investigación• Calidad de la gestión• Movilización de recursos• Aspectos éticos en las propuestas

¿Qué evaluamos?

Relevancia

Proyecto

Programa o convocatoria en cuestión

Entidad o entidades

participantes

Entorno territorial o sectorial

(UE/Estado/Región)

Social o económica

Socios del proyecto

Stakeholders

• El proyecto es suficientemente ambicioso en términos de mejora competitiva o de solución de problemas de tipo social.

• Se tratan convenientemente los aspectos relativos a la innovación, explotación o difusión de resultados para asegurar el uso óptimo de los resultados.

• Se demuestra un valor añadido en llevar a cabo el proyecto dentro del marco de actuación del programa. (sobre todo para proyectos colaborativos o cooperativos y trasnacionales)

Impacto potencial

Excelencia Científico técnica

Los objetivos del proyecto están claramente definidos.

Evitar objetivos vagos o poco detallados.Determinar claramente los productos, resultados o efectos inmediatos generados por el proyecto.Detallar convenientemente los productos de etapa que el proyecto y cómo estos son necesarios para la consecución de los objetivos finales del proyecto.Los objetivos deben ser coherentes con los del programa y los de la organización promotora

Excelencia Científico técnica

Los objetivos del proyecto representan un avance significativo respecto a la situación del estado del arte. Cuidado con incluir como acción del proyecto el análisis del estado del arte. El proyecto debe conocer y demostrar que conoce cual es el SOA. Estudiar los proyectos de convocatorias anteriores. “Do not reinvent the wheel”.Especificar claramente cómo los resultados del Proyecto van a provocar avances significativos en el estado del arte (siempre en relación a los recursos del proyecto)

Excelencia Científico técnica

El enfoque científico técnico propuesto es correcto parala consecución de los objetivos propuestos. Se utiliza un método con garantía y solvencia científico técnica.Se respetan los parámetros de calidad establecidos en los procedimientos de investigación.Existen mecanismo de coordinación entre los distintos equipos de investigación.

Calidad del Consorcio

Los participantes constituyen colectivamente un consorciode alta calidad.La capacidad y experiencia de los participantes son Coherentes con los objetivos del proyecto Los participantes se encuentran capacitados para desarrollarlas tareas que les han sido encomendadas en el proyecto. Hay una buena complementariedad entre los participantes. Todas las tareas previstas se encuentran cubiertas. No hay solapamiento de funciones

Se garantiza una adecuada implicación de la industriapara la explotación de los resultados

Calidad en la gestión

La estructura organizativa esta correctamente conformadade acuerdo con la complejidad y riesgo del proyecto. La estructura de gestión es de calidad Existen certificaciones de gestión de la i+d+i Existe un plan de contingencias establecido (implica minimizar el riego proyecto)

Se contemplan todos los aspectos de gestiónControl financiero y de costesPlan de control de calidad de resultados de investigaciónCalendario de actividades coherente entre actividades.Existe un plan de propiedad intelectualLos acuerdos están formalizados por escrito.

Calidad en la gestión

Existe un plan de gestión del conocimiento, propiedad intelectual y aspectos relativos a la innovación.

Todos los participantes tiene claro sus derechos de propiedad intelectual.Existe un acuerdo sobre la explotación de los resultados y sobre qué bases se realiza. El plan de difusión y transferencia está acordado. Se recogen en su caso los derechos de difusiónacadémico-científica sobre los resultados.

Movilización de recursos

El proyecto optimiza los recursos necesarios para la consecución de los objetivos del proyecto (personal, equipamiento, financiación,…)Los recursos de integran de forma coherente en el Proyecto y sus objetivos. La financiación global del proyecto es adecuada.

Evaluación en el VII PM

Los evaluadores se seleccionan mediante convocatoriapública

Evaluación en el VII PM

Para cada tema científico (scientific topic) se nombra a un panel de evaluadoresLos criterios generales de evaluación son:

Relevancia Impacto potencial Calidad y eficiencia en la gestión.

Sistema de puntuación Para cada criterio se le asigna un peso

Para cada criterio hay un corte

Evaluación en el VII PM

Evaluación en el VII PM

Individual Assessment Report (IAR). Informe individual que rellena el evaluador en el que incluye comentarios razonando las puntuaciones. Consensus report (CR). Informe conjunto entre los 3 evaluadores que han revisado la propuesta. Durante esta discusión también está el Rapporteur(completa el informe) y el Moderador ( Personal de la Comisión), puede estar presente un Observador. Evaluation Summary Report. (ESR) Todos los miembros del panel conforman la lista de evaluación final con las notas de todos los proyectos y se propone quien lleva financiación.