Evaluación del impacto social de proyectos de Investigación y Desarrollo tecnológico (I+D):

Una aplicación en el sector de las comunicaciones industriales

D. MOÑUX G. ALEIXANDRE F.J. GÓMEZ S. CÁCERES L.J. MIGUEL E. VELASCO

MESA 6

2

Este trabajo presenta a modo de caso de estudio, la evaluación de impacto social (EIS) de un Proyecto Integrado financiado por la Comisión Europea bajo el amparo del Sexto Programa Marco (6PM). Se trata de un proyecto de I+D de grandes dimensiones que todavía se encuentra en fase de ejecución, denominado Virtual Automation Network (VAN, red de automatización virtual). El objetivo del proyecto VAN consiste en la mejora de las comunicaciones industriales a partir de la promoción del uso intensivo de las Tecnologías de la Información y de las Telecomunicaciones (TIC). Las características del proyecto —de cuatro años de duración— y el compromiso mostrado por los participantes, ha permitido la constitución de un equipo de trabajo dedicado íntegramente a la evaluación del impacto social. Este equipo parte de una concepción interdisciplinar de los procesos de evaluación y, consecuentemente, está constituido por profesionales de distintas vinculaciones disciplinares: economistas, sociólogos e ingenieros. El proceso de evaluación del proyecto ha empleado hasta el momento una metodología de listas de control similar a las utilizadas en los procesos de selección de proyectos. También se ha realizado una adaptación de la metodología Delphi. El primer resultado del proceso evaluativo ha sido la elaboración de un conjunto de recomendaciones prácticas dirigidas a realimentar el proceso de toma de decisiones y asegurar un impacto socioeconómico positivo de los resultados del proyecto VAN.

1. Introducción

En la actualidad las actividades de Investigación y Desarrollo Tecnológico (I+D) e innovación se caracterizan por una creciente relevancia de la sociedad como agente involucrado en el cambio tecnológico y por un mayor protagonismo de los programas de “ciencia y sociedad” dentro de las acciones de promoción de la investigación. Todo ello ha dado lugar a que aparezcan crecientes demandas de integración de cuestiones sociales en la gestión de las actividades de I+D y, como consecuencia de esta situación, se está incrementando la atención hacia los impactos sociales de los proyectos de I+D, con la exigencia de desarrollar nuevas metodologías para su análisis. En general, la necesidad de la evaluación de impacto social (EIS) de proyectos de I+D se encuentra justificada desde una triple perspectiva: teórica, política y empresarial.

La justificación teórica se basa en que las diferentes aportaciones provenientes del estudio de la tecnología y la vertiente evolucionista de la economía, insisten en la necesidad de incorporar criterios sociales en el diseño de la investigación científica y la ingeniería. Estas contribuciones permiten establecer un nuevo concepto de cambio tecnológico fundamentado en la co-evolución de la tecnología y la sociedad (Rip and Kemp, 1998; Kuhlmann, 1999; Smits, 2002).

Desde la perspectiva política, la necesidad de vincular la ciencia y los sistemas tecnológicos con la sociedad es un tema recurrente en las declaraciones políticas. Así, es posible identificar una tercera fase en la evolución de las políticas de I+D e innovación, que se caracteriza por estar dirigidas prioritariamente hacia objetivos sociales (European Commission 2000; European Commission 2003a; OECD, 2001).

Finalmente, desde una óptica empresarial, la responsabilidad social corporativa gana relevancia y las empresas buscan encontrar un adecuado balance entre su rentabilidad económica y su responsabilidad social, existiendo un número cada vez mayor de colectivos/agentes involucrados que deben ser tenidos en consideración. Además, la inclusión de criterios sobre impactos sociales en la gestión de proyectos de I+D comienza a ser contemplada como una potencial fuente de beneficios, ya que incrementa el grado de confianza de los consumidores y reduce la probabilidad de

3

aparición de conflictos entre los distintos grupos afectados (Carroll and Buchholtz, 1999; Halal, 2001, European Commission, 2001b, European Foundation for Quality Management, 2003).

La Comisión Europea ha sido una de las fuerzas que ha dinamizado este proceso de integración de los impactos de las actividades de I+D. Dentro de esta labor de dinamización, el Quinto Programa Marco (5PM) sirve como referencia de la incorporación de los objetivos socioeconómicos como una prioridad esencial de la investigación europea (European Commission, 1996). Más recientemente y en este mismo sentido, en la evaluación del 5PM se plantean afirmaciones como la siguiente:

“El impacto socioeconómico no debería considerarse únicamente como un impacto más junto a otros componentes en el marco de una evaluación multicriterio (por ejemplo, técnicas u organizativas), sino que es el criterio para valorar el éxito (fracaso) último de las actividades de investigación, …” (European Commission, 2003b, p. 10)

Este mismo cambio de actitud y la toma de conciencia de la relevancia de la faceta social de las actividades de I+D también se puede apreciar en la introducción de indicadores sociales e institucionales en el análisis del desempeño de los sistemas de innovación nacionales (European Commission, 2003b).

Este compromiso político se ha trasladado en cierta medida al nivel de la gestión de proyectos. Así, en los procedimientos de evaluación previa de proyectos de la Comisión Europea se ha incluido un mayor énfasis en la necesidad de valorar la contribución de los proyectos a los objetivos sociales de la Unión Europea (European Commission, 2001a). Dentro de esta línea de actuación, el Sexto Programa Marco (6PM) puso en marcha una nueva modalidad de instrumento –los Programas Integrados– con una concepción encaminada al logro de un mayor impacto científico y socioeconómico. Al mismo tiempo, la creación de proyectos de mayor dimensión permite dedicar recursos a una eficaz supervisión del progreso de los programas y a la valoración de impacto de la dimensión no tecnológica de las actividades de I+D, lo que al mismo tiempo permite mejorar la tarea de rendición de cuentas (accountability). Aprovechando este escenario favorable, el consorcio del proyecto VAN decidió incluir en su programa de trabajo una tarea enfocada a la realización de una Evaluación de Impacto Social (EIS) junto con un plan la mejora de aspectos relativos a género. El objetivo del Proyecto Integrado VAN consiste en:

“dotar de soluciones innovadoras, estándares y mejoras en los entornos industriales, que reduzcan la distancia existente entre las tecnologías de oficina y las tecnologías de automatización industrial, orientadas a la configuración de una red integrada y uniforme de procesos de producción y manufactura. Con lo que se conseguiría definir unas bases, aceptadas internacionalmente, para la gestión de plantas industriales y para la definición de conceptos de servicios y controles avanzados” (Figura 1).

4

Figura 1. La creación de redes virtuales para los entornos industriales. El contenido del proyecto VAN

Fuente: Proyecto VAN

En la presente comunicación se sintetizan la primera fase de evaluación del proyecto VAN proponiéndola como caso de aplicación de evaluaciones socioeconómicas a proyectos de I+D. La estructura de la comunicación está constituida por varias partes, la primera de ellas profundiza en la EIS, comentándose su propósito, metodología, fases y el conjunto de impactos a considerar y su organización en dominios (Epígrafe 2). En segundo lugar, se explica el proceso desarrollado para lleva a cabo la evaluación ex-ante, su estructura, la forma en que la información es recopilada y se exponen, por un lado, algunas recomendaciones que permitan mejorar de dicho proceso y, por otro, la información que puede extraerse de dicho proceso (Epígrafe 3). Finalmente, se plantean un conjunto de conclusiones asociadas al potencial que presenta la integración de la EIS en la evaluación de proyectos de I+D (Epígrafe 4).

2. La evaluación de impacto social

El campo de la evaluación de políticas tecnológicas y científicas cuenta con una larga tradición de análisis dedicada a comprender la dimensión social de la tecnológica. Esta tradición mantiene fuertes vínculos con el campo del saber de la Evaluación de Tecnologías (Ende et al.; Rip, 2001; Schot, 1992; Schot and Rip, 1997), pero también con las tradiciones de evaluación de impacto ambiental o con el desarrollo de indicadores. En esta línea se han puesto en marcha experiencias orientadas al desarrollo específico de indicadores sociales para la ciencia y la tecnología como puede ser el caso de los seminarios organizados por la RICYT (La Red Iberoamericana de Ciencia y Tecnología)1. Respecto a las metodologías de evaluación ambiental, la tendencia reciente consiste en incluir categorías que recojan el impacto social de los proyectos considerando la relación entre la dimensión social y ambiental de la realidad (Canter, 1996), pero sus resultados son todavía difícilmente aplicables a proyectos de I+D e innovación.

Dentro de la literatura dedicada al campo de la evaluación de proyectos se puede encontrar un significativo número de metodologías, tanto cuantitativas como cualitativas (Perlitz et al., 1999, Farrukh et al., 2000; Poh et al., 2001). Sin embargo, la amplia mayoría de éstas se centran en facilitar a las organizaciones innovadoras un instrumento práctico para la selección y jerarquización de proyectos y raramente se

1 Disponible en http://www.ricyt.edu.ar/

Estructura básica industrial

Segmento industrial

Dominio de oficina

Subdominios de oficina

Dominios industriales remotos (subsidiarias, clientes,…)

Integración de dispositivoaislado (telecontrol)

Subdominiso industriales

Dominioconectado vía

radio

Dominioindustrial

Dominiointrinsecamente

seguro Dominio entiempo real

Dominio en tiempo real

Dominio WLANindustrial

Dispositivosmóviles

Dominio WLNAindustrial

Dispositivos móviles

Tecnologías heterogeneas /internet (Redes públicas)

5

ocupan de aspectos relacionados con la mejora de decisiones técnicas. Estas metodologías de mejora demandan planteamientos participativos y, en este sentido, son compatibles con los desarrollos de métodos de evaluación que tienen en consideración a los distintos participantes del proyecto como una vía para ampliar y mejorar los criterios de evaluación (Elias et al., 2002),

En este contexto, la evaluación del proyecto VAN ha encontrado dificultades para localizar metodologías adaptadas a sus singularidades. En primer lugar, era necesario un enfoque micro para analizar los impactos sociales de las actividades de I+D, con la necesidad de discriminar los impactos derivados del proyecto de los impactos genéricos de las TIC. Por otra parte, la evaluación debe realizarse en tres momentos del ciclo de vida del proyecto, con la necesidad de utilizar metodologías y disponer de información muy diferente en cada caso. Como resultado de lo anterior, no se ha encontrado una metodología estandarizada que sea suficientemente satisfactoria para tratar con la faceta social del proyecto VAN, motivo por el cual se ha intentado realizar un modelo de evaluación ad hoc. La primera ocupación ha sido la identificación de los impactos previsibles lo que constituye una primera y necesaria etapa para llevar a cabo una evaluación (Owen and Rogers, 1999).

2.1. El propósito de la EIS

Fundamentalmente, la finalidad de la evaluación de la EIS de un proyecto de I+D puede dividirse en tres elementos:

1) Ser una fuente de información adicional a los socios del proyecto para mejorar el impacto social de los bienes y servicios que se generen gracias a dicho proyecto.

2) Mejorar el grado de conciencia entre los gestores de actividades de I+D e innovación sobre las consecuencias de los bienes y servicios que surgen del proyecto y de la utilidad de la evaluación de impacto social.

3) Extender entre los responsables de proyectos la relevancia de la EIS como una buena práctica de gestión de las actividades e I+D e innovación.

Al tratarse de un instrumento cualitativo, la EIS no pretende cuantificar los impactos esperados sino ser un apoyo para los socios del proyecto en su proceso de toma de decisiones para asegurar un mejor y mayor impacto social de los resultados de proyecto.

2.2. La metodología de la EIS

La metodología de EIS propuesta para este proyecto se basa, en parte, en la experiencia previa del equipo de evaluación en el desarrollo de listas de control estructuradas para la evaluación previa de proyectos de I+D e innovación de un centro tecnológico (Moñux et al., 2003), pero ajustada y mejorada a partir del análisis de las repercusiones de las TIC en entornos industriales y contando con las posibilidades que brinda la metodología Delphi para sintetizar información. El concepto de impacto social es definido de forma amplia aglutinando una multiplicidad de aspectos medioambientales socioeconómicos y científicos que, con frecuencia, son dejados de lado en los mecanismos tradicionales de evaluación de proyectos de I+D, quedando dichos aspectos fuera del proceso de toma de decisiones. En este sentido, la EIS persigue cubrir todos los potenciales impactos asociados a los nuevos

6

productos/procesos de un proyecto de I+D. Es importante destacar que el objetivo de la evaluación no es analizar el impacto social del proyecto en sí mismo, sino el de sus resultados (productos, procesos o estándares que mejoren las comunicaciones industriales utilizando las posibilidades técnicas que proporcionan las TIC). Estos resultados, que serán utilizados en diferentes contextos y que deben cumplir diferentes exigencias industriales – principalmente tiempo real, comunicaciones inalámbricas, seguridad y fiabilidad–, utilizan una diversidad de combinaciones de alternativas tecnológicas, que, por tanto, pueden tener diferentes impactos sociales.

La metodología de la EIS asume que todos los socios del consorcio del proyecto pueden y deben contribuir en el proceso de aportación y síntesis de información, con la finalidad de obtener una visión lo más amplia posible de las dimensiones del proyecto. Las encuestas que se utilizan para recopilar dicha información se fundamentan en una lista de control de los impactos que abarca un amplio conjunto de aspectos sociales, económicos, medioambientales y tecnológicos. En este sentido, se trata de un método cuantitativo que es consistente con los métodos de ponderación y jerarquización propuestos para la evaluación previa de proyectos de I+D, complementarios con otros método cuantitativas (p.e. el análisis coste beneficio) (Poh et al., 2001).

La lista de impacto aprovecha aportaciones de estudios previos, aunque el número de trabajos que utilizan un enfoque de análisis de los impactos similar al del presente trabajo no es muy elevado (Molas Gallart J. et al., 2000; TAP-ASSESS Consortium, 2000).

2.3. Las fases de la EIS

La EIS se lleva a cabo a lo largo de tres etapas: ex−ante, in−itinere y ex−post, teniendo en cada una un enfoque diferenciado. El núcleo de todas las fases, sin embargo, es la lista de impacto anteriormente mencionada.

• La evaluación ex−ante, que ha seguido un enfoque constructivista, identifica y valora los impactos socioeconómicos y los elementos críticos de las soluciones tecnológicas – a un nivel micro y meso- para realimentar el proceso de toma de decisiones con recomendaciones para asegurar un mayor impacto positivo de los resultados de proyecto. Este análisis se ha realizado en los primeros seis meses del proyecto.

• La evaluación in-itinere, que debe ser realizada cuando el proyecto está todavía en activo y manteniendo un nivel de ejecución avanzado, en nuestro caso a mediados del segundo año. Esta evaluación persigue garantizar la supervisión de las actuaciones aplicadas para afrontar los impactos socioeconómicos identificados en la fase ex-ante. Un especial énfasis debe ser puesto en analizar el grado en que se han aplicado las recomendaciones del informe ex-ante, siempre teniendo en consideración el grado de flexibilidad que los investigadores involucrados en el proyecto tienen para poder implementarlas.

• La evaluación ex-post, que debe ser realizada una vez finalizado el proyecto, sirve para actualizar las conclusiones sobre el impacto del proyecto desde un punto de vista más estratégico, permitiendo a la Comisión Europa tener evidencias sobre el impacto del proyecto. Además, es este momento es posible obtener algunas consideraciones prácticas que pueden servir de pautas a considerar en la implementación industrial de la tecnología desarrollada. Estas consideraciones pueden reforzar el impacto socioeconómico de los

7

resultados del proyecto, tanto dentro de la industria como en la sociedad en su conjunto.

Hasta el momento, el equipo de evaluación ha llevado a cabo la evaluación de impacto ex−ante. Esta fase ha consistido en un proceso de encuestación en dos etapas, similar a la metodología Delphi, y un trabajo de investigación en paralelo. El resultado de esta evaluación es un informe con recomendaciones de carácter práctico para los investigadores involucrados en el proyecto VAN.

2.4. Los impactos del EIS y sus dominios

Los impactos potenciales de los proyectos de Investigación y Desarorollo Tecnológico, sean o no apoyados por el sector público, forman un conjunto heterogéneo (European Commission, 2005b; Moñux et al., 2003; European Commission, 2005a; Uotila et al., 2004). Estos impactos potenciales pueden organizarse en las siguientes categorías:

1. Impactos medioambientales: que se refieren al grado en que la tecnología contribuye al eco-diseño del producto y del proceso (eficiencia energética, ahorro de energía de materiales, etc.);

2. Temas sociales: impactos sobre la seguridad y la calidad de vida de los usuarios finales, desarrollo social, diseño universal (incluyendo requisitos para la integración de discapacitados), sobre las relaciones sociales, etc.

3. El sistema de innovación: impacto sobre la estructura del sistema de innovación (capital humano, aportación de poder a los agentes innovadores, usos alternativos de la energía, etc) y sobre la cultura del sistema de innovación (cultura corporativa en innovación, shock tecnológico, etc.);

4. Empleo: impactos sobre la creación y transformación de empleo (efectos de la deslocalización, sustitución de puestos de trabajo, salud y seguridad humanas, etc.);

5. Temas económicos estratégicos: impacto sobre el desarrollo endógeno, el desarrollo geográficamente equilibrado y la atribución de poder a las pymes en un nivel regional.

8

Tabla 1. Lista de Impactos Sociales

Campo Nombre Impacto sobre…

el cumplimiento de las normas corporativas medioambientales de los fabricantes. Regulación

medioambiental el cumplimiento de las políticas medioambientales que afectan a los usuarios finales de los productos del proyecto.

el consumo de energía de los fabricantes.

Ahorro energético el consumo de energía de los usuarios finales de los productos del proyecto.

Energía Renovable el diseño de los productos del proyecto debido a la integración de energías renovables.

el consumo de materias primas del fabricante.

Consumo de materias p el consumo de materias primas del usuario final de los productos del proyecto.

Tem

as m

edio

ambi

enta

les

Fin de vida de los prodVAN

la fase del fin de vida de los productos del proyecto.

Recursos la cantidad de recursos humanos y físicos dedicados a este campo de investigación en el largo plazo.

Potenciación de los ageinnovadores

la cohesión y los mecanismos establecidos del sistema de innovación (ej. fomentando cooperación permanente entre los socios implicados, aumentando la transferencia de tecnología a las pymes no-socios, apoyando el desarrollo de políticas y regulaciones del sector).

Shock tecnológico el proceso industrial del usuario final (ej. shocks difíciles de abordar dentro de la cultura organizativa en innovación)

Difusión del conocimiela Industria Europea de Automatización como un todo, una vez que el proyecto se completa, debido a una serie de actividades de difusión planificadas

Multidisciplinaridad la consolidación o creación de una línea de investigación auténticamente multidisciplinar

Uso alternativo o adiciode la tecnología

los otros ámbitos en los que los productos del proyecto y / o el conocimiento generado por el proyecto pueden ser aplicados (ej. otro uso además del objetivo del proyecto)

Sist

ema

de in

nvoa

ción

Comprensión pública dCiencia y Tecnología

la comprensión pública de las comunicaciones industriales debido a los resultados de la difusión

Participación pública el número de grupos de stakeholders que toman parte en el proceso de toma de decisiones

Tem

as s

ocia

les

Compromisos éticos el compromiso ético adoptado por las organizaciones implicadas (ej. un conflicto entre la organización un resultado del proyect

9

Conflictos relacionadosvalores sociales

las controversias sociales de actualidad en el ámbito de las Tecnologías de la Información y la Comunicación (ej. conflictos relacionados con: seguridad vs. privacidad, salud humana vs. campos electromagnéticos, interacciones humano-computadora y/o humano-humano, etc.

Cooperación la cooperación entre organizaciones a lo largo de la cadena de valor (ej. aumentando las comunicaciones entre los usuarios finales y sus proveedores / clientes)

Proceso de innovación pymes

la posibilidad de las pymes de introducir los productos del proyecto en sus procesos de fabricación, teniendo en cuenta las dificultades especiales que las pymes tienen a la hora de innovar

Sectores no directameninvolucrados en VAN

la satisfacción de las necesidades de los sectores industriales no representados en el consorcio del proyecto, por medio de los productos del proyecto (independiente de su nivel tecnológico)

Tem

as e

conó

mic

os

Cohesión regional

las regiones menos desarrolladas de la Unión Europea debido a los esfuerzos planificados en relación a la difusión del proyecto en términos de productos y conocimiento

Creación / destrucción de puestos de trabajo

la creación o destrucción de puestos de trabajo en las organizaciones de los usuarios finales

Pérdida de puestos de trabajo

la destrucción de puestos de trabajo perjudiciales para la salud,peligrosos y / o exigentes físicamente

Nuevas habilidades y competencias

las habilidades y competencias requeridas a los empleados de los usuarios finales

Sustitución en el empleo

la sustitución de empleados en la organización de los usuarios finales (ej. sustitución de empleo consistente en que una persona desempleada altamente cualificada encuentra un trabajo relacionado con las tecnologías del proyecto a costa de una persona ya empleada con cualificación baja)

Deslocalización

la generación de un efecto de deslocalización de los puestos de trabajo (ej. nuevos puestos de trabajo son creados a costa de que se pierdan puestos de trabajo en algún otro lugar)

Creación de empresas

la creación de nuevas empresas para explotar los resultados del proyecto

Inclusión

la inclusión / exclusión de empleados (ej. Productos del proyecto ayudan a los usuarios finales a dar forma a los puestos de trabajo- descendiendo los requisitos físicos – con el fin de recrutar individuos tradicionalmente sin acceso a estos puestos)

Empl

eo

Seguridad y salud en el trabajo

la seguridad y salud en el trabajo (ej. a través de mejoras ergonómicas en los puestos de trabajo o a través de la reduccióestrés o de los riesgos de daños físicos)

10

Confianza del trabajador

La confianza de los empleados en que el proceso de fabricación funcione correctamente, como resultado de la adopción de los productos VAN

3. La evaluación ex-ante

La evaluación de impacto ex�ante consistió en una encuesta de dos pasos, que sigue un enfoque similar a una metodología Delphi, unido a un trabajo adicional basado en la recogida de información producida previamente2. A partir de este material se hace un informe ex ante con recomendaciones que proporcionan pautas para dar forma a la investigación asociada al proyecto con la finalidad de mejorar los resultados socio-económicos.

La primera ronda de la encuesta consistió en un cuestionario que pretende identificar y clasificar los impactos sociales un ejemplo del cual se puede consultar en la Tabla 2.

Tabla.2 Ejemplo de una pregunta de la primera ronda

Conflictos relacionados con valores sociales

¿Podemos esperar que los resultados del proyecto VAN lleguen a formar parte de las actuales controversias en torno a la Sociedad de las Tecnologías de la Información y la Comuniciación; ej. Seguridad vs privacidad; impactos sobre la salud humana en relación a los campos electromagnéticos, o interacciones humanocomputadora, o humano-humano que se hacen posibles a través de estas tecnologías?

Sí

No

Com

enta

rios

La segunda ronda consistió en un cuestionario más específico que recoge las

aportaciones de los socios formuladas en el primer cuestionario con el objeto de confirmar los impactos sociales que se habían detectado en la primera ronda, al tiempo que persigue un conocimiento más profundo respecto al sentido, relevancia, flexibilidad e incertidumbre de estos impactos (Tabla 3).

Ambos cuestionarios persiguen una evaluación cualitativa basada en los puntos de vista y en las experiencias previas de los socios. Este cuestionario intenta recoger el conocimiento experto pero siempre asumiendo que las respuestas son abiertas y que tienen un alto contenido subjetivo. Obviamente, se espera tanto un sesgo optimista como pesimista puesto que lo que se expresan son opiniones no totalmente contrastadas. Por otra parte, aunque se ha preguntado a una diversidad heterogénea de socios, sólo se ha elaborado un cuestionario común puesto que todos los participantes tienen una visión amplia y suficiente del proyecto, a pesar de que su tarea concreta esté focalizada en un único aspecto. Los dos cuestionarios están organizados como un conjunto de impactos sociales que podrían surgir a partir de la ejecución del proyecto, pero ambos cuestionarios tienen enfoques diferentes:

2 La preparación de la evaluación de impacto se apoyó también con un desk research consistente en

una revisión de documentos que abordaban temas como: la predicción del cambio en la sociedad en el contexto de la evolución de las Tecnologías de la Información, el impacto de sistemas automáticos y la robótica sobre el modelo laboral y la futura predicción de tecnologías para el uso en procesos estratégicos en diferentes organizaciones.

11

• La primera ronda de la encuesta de evaluación de impacto ex-ante es más simple que la segunda. Se proporciona una lista de impactos y cada impacto es comprobado por una pregunta de SI o NO, pero abierta a comentarios (ej. dificultades encontradas al responder): Se seleccionaron preguntas cerradas con un formato que facilitara a los encuestados la comprensión de las alternativas incluso cuando no se tratase de expertos socio-económicos.

• La segunda ronda de la encuesta de evaluación del impacto ex-ante consistió en un cuestionario más centrado y específico que pone en común algunas de los opiniones de los socios relacionadas con algunos de los impactos. Esto permite a los expertos del proyecto considerar algunos de los puntos de vista de otros socios y conseguir una confluencia común en sus respuestas. Además, en el segundo cuestionario, se pidió a los socios que profundicen en su evaluación de los posibles impactos respondiendo algunas preguntas acerca de:

o La probabilidad del impacto: la opinión de los socios sobre la importancia de que esos impactos ocurran.

o Efecto del impacto: se refiere al hecho de que el impacto podría ser positivo o negativo. En el primer caso, serían convenientes acciones para aumentar el efecto. En el segundo caso, serían recomendables las acciones para mitigarlo. En este sentido, se requerirían cuando fuera posible la aplicación de las recomendaciones para dar forma a la investigación VAN de manera positiva o de alguna buena práctica.

o Flexibilidad del proyecto: aunque los objetivos de los socios industriales y su visión del mercado están ya establecidos, las soluciones no están cerradas aún. Por lo tanto, hay flexibilidad en las investigación del VAN para tener en cuenta las recomendaciones de la evaluación ex ante de forma que puedan mejorarse los impactos sociales del VAN.

Además, en casos en que el encuestado contesta de manera negativa existiendo una mayoría de respuestas afirmativas, se solicita una explicación más en detalle para comprender su posición considerando que algún elemento importante se ha podido omitir.

12

3.1. Análisis de las respuestas

Este análisis es útil porque detecta el nivel de consenso o disenso entre los encuestados respecto a los impactos futuros, permitiendo diagnosticar campos de incertidumbre, campos que deben ser analizados con más intensidad y, en su caso, campos en los que la probabilidad de los impactos es alta.

Tabla 3. Muestra / Ejemplo de una pregunta de la 1ª ronda

Resultgenera

Trespue RespuestProbabilidImpacto

Efecto dimpacto

Flexibilidproyecto

sí: # Si

no: #

Conflictos relacionados los valores so

No

¿Podemos esperar quresultados del proyectlleguen a formar partelas actuales controvertorno a la Sociedad deTecnologías de la Información y la Comunicación; ej. Segvs privacidad; impactosobre la salud humanarelación a los camposelectromagnéticos, o interacciones humanocomputadora, o humahumano que se hacenposibles a través de etecnologías?

recomendación para dar fola investigación del VAN ensentido positivo o alguna bpráctica en esta área:

Comentarios de los socios

SI, impactos sobre la privy la salud causados por latecnologías sin hilos.

SI, se espera un impacto directo y el VAN tendrá que afrolas controversias mencionadas.

Comentarios del Equipo Evaluador

Por favor tenga en cuenta que pueden surgir conflictos apartir de las percepciones de los diversos stakeholders.

Si tu respuesta es no y estás en minoría, puedes apuntar algunaque apoye tu opinión

• Variables consensuales, se trata de variables en que todos los encuestados responden de la misma manera. Son impactos bastante seguros que tienen baja incertidumbre. No necesitan análisis más profundos. Se recomienda concentrarse en medidas preventivas o paliativas cuando sea necesario, pero no es pertinente investigar de manera preferencial estos impactos.

• Variables con consenso limitado, en este caso se hace referencia a variables en que las respuestas se concentran claramente en una de las alternativas pero que presenta un porcentaje reducido de opiniones contrarias (menor del 30%). Requieren análisis por principio de precaución. Conviene valorar la posible relevancia de las posturas minoritarias para hacer recomendaciones.

• Variables divididas, que requerirán un análisis más profundo, más preguntas y una fuerte insistencia sobre las medidas de evaluación y prevención. Puede observarse que las variables medioambientales y laborales pertenecen claramente a este grupo. Este hecho expresa el alto nivel de incertidumbre

13

relacionado con este tipo de impactos y surge la duda sobre su comportamiento futuro. Las razones subyacentes a esta dispersión pueden ser: opiniones diversas sobre los impactos pronosticados; concepciones diversas sobre el proyecto VAN. Es posible que en algunos casos, los encuestados hayan contestado en relación a su experiencia más próxima, centrando su análisis de impactos en su particular contribución al proyecto y no en una visión más amplia del proyecto VAN. El cuestionario ha sido pensado para minimizar la dispersión derivada de la segunda causa. En todo caso, es aconsejable insistir en la comprensión común del proyecto y evitar compartimentos estancos.

Las variables que siguen un patrón común se clasificaron en diversas categorías que facilitan la generación de recomendaciones:

• Variables no participantes, se refiere a los impactos que tienen una probabilidad muy baja de llegar a ocurrir. No se requiere prestarles ninguna atención especial. Están caracterizados por bajo impacto, con efectos positivos y baja flexibilidad. Este es el caso de los temas medioambientales que, excepto en dos casos, siguen este perfil.

• Variables de mejora, se refiere a impactos con probabilidad de ocurrir causando un efecto positivo. Sería aconsejable fortalecer su efecto. Las opiniones señalan la existencia de un impacto positivo con probabilidad alta y niveles de flexibilidad de tipo medio-bajo. No parece que estas variables precisen acciones para evitar impactos negativos, pero ofrecen posibilidades para mejorar los impactos. Esta es principalmente la causa de los temas económicos y el sistema de innovación, aunque hay excepciones para ambos casos.

• Variables problemáticas, si los impactos relacionados son altamente impredecibles. Sería recomendable hacerles un seguimiento y desarrollar métodos útiles para los expertos que deseen adquirir un control más preciso sobre estas variables. Están caracterizadas por una fuerte división de opiniones a cerca de la existencia del impacto, sobre el efecto de éste en caso de existir, sobre su probabilidad y flexibilidad. En el cuestionario, esta descripción se corresponde sobre todo con temas sociales y empleo.

• Variables estratégicas, sus impactos son predecibles y de carácter negativo, además los investigadores del proyecto VAN tienen flexibilidad de actuación para poder mitigarlos. Se requiere prestar una atención primordial a estas variables de cara al éxito de un proyecto de investigación, aunque en la práctica ninguno de los impactos derivados del proyecto VAN queda dentro de esta categoría.

14

3.2. Recomendaciones para la mejora del proyecto

Las recomendaciones de la evaluación ex-ante surgen de las respuestas de los encuestados y a ellas se suman las aportaciones del equipo evaluador, todas ellas centradas en impactos concretos del proyecto. Desde un punto de vista metodológico, las recomendaciones son de tres tipos:

1. Recomendaciones de carácter general. Generadas por el equipo evaluador como marco de interpretación de las recomendaciones prácticas. Abordan aspectos como prospectiva, participación e información, con una perspectiva de largo plazo y largo alcance.

2. Recomendaciones prácticas. Se trata de pistas prácticas que el consorcio puede emplear para rediseñar, sobre la marcha, ciertos aspectos del proyecto que pueden mejorar su impacto social. Las recomendaciones surgen del ejercicio Delphi y de la investigación desarrollada en paralelo por el equipo evaluador. Están ligadas a los tipos de variables ya mencionados:

o Recomendaciones puntuales. Estas recomendaciones se formulan cuando la mayoría de los socios considera un impacto no relevante aunque existen opiniones puntuales que si le otorgan cierta relevancia. En este caso, las recomendaciones recogen las aportaciones puntuales de los socios, así como ideas recopiladas por el equipo evaluador.

o Recomendaciones de mejora. Aquellas que tratan de reforzar impactos positivos detectados por los socios.

o Recomendaciones problemáticas Aquellas que tratan de contemplar ese impacto y seguir la evolución del proyecto a ese respecto, con el objetivo de prevenir posibles impactos negativos.

o Recomendaciones estratégicas. Quizá las de más importancia. Son aquellas que aprovechan aspectos flexibles del proyecto para prevenir impactos negativos e impulsar otros positivos.

Cualquier recomendación de tipo práctico debe manejarse de forma diferente en función del tipo de proyecto. En este caso, el hecho de que los usuarios finales sean empresas, y no ciudadanos, ha dificultado la inclusión de un número de aspectos del debate ciencia-sociedad que están directamente vinculados con conflictos sociales y demandas del consumidor.

3. Otras recomendaciones. Son una serie de aspectos de gran relevancia en el debate ciencia-sociedad de la Unión Europea, que el equipo evaluador ha considerado necesario incluir de acuerdo con su experiencia y siguiendo las preocupaciones expresadas por algunos socios en los cuestionarios. Se trata de propuestas difíciles de implementar en un proyecto de investigación industrial como VAN: participación pública, comunicación social de los resultados, investigación interdisciplinar. La respuesta de Van a estas ideas, no obstante, puede ser de utilidad para futuros proyectos y para el diseño de políticas.

15

3.3 Limitaciones del estudio

Pese al valor intrínseco de las recomendaciones, éstas presentan también limitaciones que deben tenerse presentes de cara a su implementación. Su valor reside en que se constituyen como una herramienta de apoyo a la decisión que introduce la dimensión socioeconómica en la dinámica de la I+D. No obstante, como ya se ha mencionado, la decisión sobre su aplicación depende de los socios del proyecto.

Las principales limitaciones del estudio son la siguientes:

1. Las recomendaciones se basan en las opiniones del limitado número de socios del proyecto, por lo que el resultado está sesgado por sus percepciones que pueden ser erróneas.

2. Si bien los socios son muy competentes en su campo técnico, pueden no tener una suficiente visión de conjunto del ámbito socioeconómico en el que se desarrolla su trabajo. Los resultados de otra tarea del proyecto —un análisis de tendencias tecnológicas VAN, también liderada por CARTIF— muestran que hay ciertos aspectos no técnicos que son contemplados por algunos socios pero pasan desapercibidos para otros.

3. Las personas que han respondido a los cuestionarios de evaluación han tenido que atender paralelamente a varias tareas del proyectos, de modo que pueden haber carecido del tiempo necesario para responder con calma.

4. Alguna cuestión ha sido interpretada de forma distinta por los socios. Esta diversidad se ha concentrado en la aplicabilidad de las recomendaciones: el concepto de flexibilidad ha sido especialmente mal interpretado. En contra de la voluntad del equipo evaluador, la flexibilidad se ha vinculado con la estructura de toma de decisiones en el consorcio y, en particular, con el papel del coordinador.

5. Hay recomendaciones que se han incluido por considerarse aspectos clave del debate ciencia y sociedad —participación pública, comunicación social, interdisciplinariedad—, pero han resultado ser de difícil aplicación dadas las particularidades de VAN.

16

4. Conclusiones

Del trabajo realizado hasta el momento se desprenden, principalmente, cuatro conclusiones.

En primer lugar, el estudio muestra que es posible la integración de aspectos socioeconómicos en la evaluación de proyectos de I+D siguiendo un enfoque constructivista. A pesar de las restricciones impuestas por un proyecto financiado públicamente, que tiene que ajustarse a un contrato, la presente experiencia muestra que el diseño tecnológico cuenta con un grado de flexibilidad que permite integrar la dimensión social, tal y como defienden los estudios sociales de la tecnología.

En segundo lugar, la incorporación de los propios investigadores VAN al proceso de evaluación prepara el camino para la subsecuente implementación de la recomendación ex-ante —si bien supone también la aparición de cierto sesgo dado que su preocupación es principalmente tecnológica. Su incorporación en el proceso no es sencilla, dado que deben concentrarse principalmente en tareas de I+D que les imponen plazos y entregas. No obstante, el estudio muestra que involucrarlos es posible y fructífero.

En tercer lugar, es posible identificar un número de impactos sociales que son comunes a todos los proyectos de I+D, con independencia de su naturaleza.

Por último, debe prestarse una atención especial a la flexibilidad del proyecto. Si se pretende que las recomendaciones ex ante se apliquen para mejorar los impactos del proyecto, el equipo evaluador debe contemplar el grado de flexibilidad existente para ello. Dicho grado de flexibilidad se corresponde esencialmente con la flexibilidad ofrecida por el diseño del propio proyecto, cuya evolución debe ser seguida a medida que el proyecto avanza.

Agradecimientos

La presente investigación ha sido posible gracias al apoyo de la Comisión Europea, VI Programa Marco, prioridades temáticas IST (tecnologías para la sociedad de la información ) y NMP (Nanotecnología y nanociencias, materiales muntifuncionales y nuevos procesos de producción), contrato No 016969.

17

Referencias

Canter, L. Environmental Impact Assessment, McGraw-Hill, New York, 1996.

Carroll, A. B. and Buchholtz, A. Business and Society. Ethics and Stakeholder Management, South-Western Publishing, Cincinnati, 1999.

Elias, A. A.; Cavana, R. Y., and Jackson, L. S. "Stakeholder analysis for R&D project management". R&D Management, 34, 4, 2002, pp. 301-310.

Ende, J. van den, Mulder, K., Knot, M., Moors, E., and Vergrat, P. “Traditional and modern Technology Assessment. Towards a toolkit”. Second International Conference and Bi-annual meeting of the International Association for Technology Assessment and Forecasting Institutions (IATAFI), Brussels, 1996.

European Commission, Inventing Tomorrow COM(96)332, Office of Official Publications of European Communities, Luxembourg, 1996.

------ Science, Society and the Citizen in Europe, Office of Official Publications of European Communities, Luxembourg, 2000.

------ Manual of proposal evaluation, Office of Official Publications of European Communities, Luxembourg, 2001.

------ Promoting a European framework for Corporate Social Responsibility - Green Paper, Office of Official Publications of European Communities, Luxembourg, 2001.

------ Innovation Tomorrow: innovation policy and the regulatory framework: making innovation an integral part of the broader structural agenda, Office of Official Publications of European Communities, Luxembourg, 2003a.

------ The overall socio-economic dimension of community research in the Fifth European Framework Programme, Office of Official Publications of European Communities, Luxembourg, 2003b.

------ Assessing the impact of energy research, Office of Official Publications of European Communities, Luxembourg, 2005a.

------ Assessing the social and environmental impacts of European research, Office of Official Publications of European Communities, Luxembourg, 2005b.

European Foundation for Quality Management, Introducing Excellence, European Foundation for Quality Management, Brussels, 2003.

Farrukh, M.; Phaal, R.; Robert, D.; Gregory, M., y Wright, J. "Stakeholder analysis for R&D project management". R&D Management, 32, 4, 2000, 301-310.

Halal, W. E..: "The Collaborative Enterprise A Stakeholder Model Uniting Profitability and Responsibility". JCC , 2, Summer, 2001, pp. 27-42.

Kuhlmann, S. et al. Improving distributed intelligence in Complex Innovation Systems. Final Report of the Advanced Science & Technology Policy Planning Network (ASTTP), Karlsruhe, 1999.

Molas Gallart J.; Tang P., y Morrow, S.. "Assessing the non-academic impact of grant-funded socio-economic research: results from a pilot study ", Research Evaluation, 9,

18

3, 2000, pp. 171-182.

Mońux, D.; Aleixandre, G.; Gómez, F. J; y Miguel, L. J.. Evaluación del impacto social de proyectos de I+D+I: guía práctica para centros tecnológicos, CARTIF, Universidad de Valladolid, Valladolid, 2003.

OECD, Social Sciences and Innovation, OECD, Paris, 2001.

Owen, J. M. and Rogers, P. Program Evaluation. Forms and Approaches, Sage. London, 1999.

Perlitz, M.; Peske, T., and Schrank, R. "Real options valuation: the new frontier in R&D project valuation?". R&D Management, 29, 3, 1999, pp. 225-269.

Poh, K. L.; Ang, B. H., y Bai, F. "A comparative analysis of R&D project evaluation methods". R&D Management, 31, 1, 2001, pp. 63-75.

Rip, A. “Societal Challenges for R&D Evaluation”. In: Shapira, P. and Kuhlmann S. Proceedings from the 2000 US-EU Workshop on Learning from Science and Technology Policy Evaluation, Bad Herrenalb, 2001.

Rip, A. and Kemp, R.. “Technological Change”. In: Rayner, S. and Malone, L. Human Choice and Climate Change. Volume II. Resources and Technology, Batelle Press, Washington D.C., 1998.

Schot, J. W. "Constructive Technology Assessment and Technology Dynamics: The Case of Clean Technologies". Science, Technology and Human Values, 17, 1, 1992. 36-56.

Schot, J. W. y Rip, A. "The past and future of Constructive Technology Assessment". Technology Forecasting and Social Change, 54, 1997, pp. 251-268.

Smits, R. "Innovation studies in the 21st century: questions from a user's perspective". Echnological Forecasting and Social Change, 69, 2002, 861-883.

TAP-ASSESS Consortium 2000. TAP-ASSESS. Socio-Economic and Industrial Assessment of FPIV Telematics Applications Projects completed between 1996 and 1998.

Uotila, M.; Kutinlahti; P.; Kuitunen. S.; Loikkanen; and T. Finnish participation in the EU Fifth Framework Programme and beyond. TEKES, Finnish Secretariat for EU R&D, Helsinki, 2004.

19

D. MOÑUX diemon@cartif.es CARTIF. España. G. ALEIXANDRE galeixam@eco.uva.es. Departamento de Economía Aplicada, Universidad de Valladolid. España. F.J. GÓMEZ javier@emp.uva.es Departamento de Sociología, Universidad de Valladolid. España. S. CÁCERES sancac@eis.uva.es Departamento de Tecnología Electrónica, Universidad de Valladolid. España. L.J. MIGUEL luimig@eis.uva.es Departamento de Ingeniería de Sistemas y Automática, Universidad de Valladolid. España. E. VELASCO elevel@cartif.es CARTIF. España