Facultad de Ingeniería Programa de prospectiva e innovación tecnológica
87
Facultad de Ingeniería Programa de prospectiva e innovación tecnológica
description
Facultad de Ingeniería Programa de prospectiva e innovación tecnológica. Métodos de expertos. Aplicación del método. delphi. Dr. Roberto Igarza - PowerPoint PPT Presentation
Transcript of Facultad de Ingeniería Programa de prospectiva e innovación tecnológica
Facultad de Ingeniería
Programade prospectiva e innovación tecnológica
Métodos de expertos
Aplicación del método
delphiDr. Roberto IgarzaDoctor en Comunicación Social (Universidad Austral), Ingeniero G.C. ETS (Ecole d’ingénieurs de Lausanne), Auditor Líder de Sistemas de Gestión de la Calidad (IMQ-Italia, IRAM).
Objetivos
El método aplicadoConsigna de
autoevaluación
El método Delphi
Métodos de expertos
Objetivos
Revisar las claves de éxito en la aplicación del método Delphi.2
1Sensibilizar sobre la importancia que tiene el uso de los métodos sistemáticos de intercambio comunicativo para la construcción de consensos sobre escenarios futuros en una corporación científica, empresaria o sectorial.
0Métodos de expertos
Tres grandes categorías de los métodos generales de prospectiva
Métodos correlativosFocalizan en los factores que están implicados en la evolución del escenario actual y en el grado en qué pueden influir en el futuro. Se interesan por analizar las posibles líneas evolutivas que van a seguir esos factores.
Tres grandes categorías de los métodos generales de prospectiva
Métodos extrapolativosProyectan hacia el futuro la información que se posee de la evolución que han tenido las variables en el pasado. A partir de la información histórica disponible, se establecen posibles tendencias o ciclos evolutivos, los que arrojarán los posibles entornos futuros.
Tres grandes categorías de los métodos generales de prospectiva
Métodos de expertosSe sustentan en la consulta a personas reconocidas por• su gran conocimiento sobre el entorno,•influir en la toma de decisiones sobre variables que afectan los escenarios futuros, • ser notables referentes en algún componente del sistema.
Methodology Tree for Forecasting
Causalmodels
Datamining
Statistical
Univariate
Theory-based
Data-based
Extrapolationmodels
Multivariate
Rule-basedforecasting
Unaidedjudgment
Judgmental
SelfOthers
Role playing(Simulatedinteraction)
Role No role
Conjointanalysis
Knowledgesource
Quantitativeanalogies
Unstructured Structured
Expert Forecasting
Decom-position
Structuredanalogies
Methodology Tree for Forecastingforecastingprinciples.com
JSA-KCGNovember 2007
Neuralnets
Expertsystems
Intentions/expectations
Judgmentalbootstrapping
Segmentation
Linear Classification
Game theory
No Yes
Sufficientobjective data
YesNo
YesNo
Large changes expected
Policy analysis
YesNo
Conflict among a fewdecision makers
Type ofknowledge
Policyanalysis
NoYes
Domain Self
YesNo
Time seriesCross-section
Type ofdata
Goodknowledge ofrelationships
Policyanalysis
No Yes
Gooddomain
knowledge
Yes No
YesNo
Large changes likely
Similarcases exist
YesNo
Judgmental methods Quantitative methods
YesNo
ExpertForecasting
(Delphi, NGT,ETE, Markets)
Judgmentalbootstrapping/Decomposition
Conjointanalysis
Intentions/expectations
Role playing(Simulatedinteraction/
Game theory)
Structuredanalogies
Expertsystems
Rule-basedforecasting
Extrapolation/Neural nets/Data mining
Causalmodels/
Segmentation
Quantitativeanalogies
Highly repetitive with
learning
Unaidedjudgment
NoYes
Selection Tree for Forecasting Methodsforecastingprinciples.com
JSA-KCGNovember 2007
YesNo Use adjusted forecast
Several methods provide useful forecasts
Singlemethod
Omitted information
?
Combine forecasts
Use unadjusted forecast
Los métodos de expertos utilizan
como fuente de información un grupo limitado de personas a las que se les reconoce como poseedores de un conocimiento elevado en la materia.
Son de aplicación, en especial, cuando:
la evolución pasada resulta de paradigmas cuya vigencia no asegura una continuidad o no pueden explicar el comportamiento de ciertas variables en el tiempo, sometidas a consideraciones éticas, morales, políticas o culturales,
1
3 los cambios detectados en el comportamiento de las variables en la actualidad impone el contraste de opiniones y juicios,
2la información sobre la evolución pasada carece de atributos que aseguren una extrapolación confiable o simplemente no existen datos históricos con los que trabajar,
delphi4 el impacto de los factores externos tiene mayor
influencia en la evolución que los factores internos.
Los expertos exponen sus ideas sobre las que se elabora un informe en el que se indican cuáles son, según sus opiniones, las posibles alternativas.
Fortalezas
Cada experto puede someter a discusión la idea que tiene sobre la problemática y la resolución desde su área de conocimiento.
La información proveniente de los expertos, aún el más reconocido y versado en el tema, es sometida a contraste por el conjunto.
El número de factores tenido en cuenta por un grupo es siempre mayor del que podría considerar una sola persona.
El modelo resultante surge de un enfoque plural.
El contraste incrementa la posibilidad de que el resultado sea pluriparadigmático.
Debilidades
Puede triunfar el argumento más citado en lugar de ser el de mayor validez.
La presión de la mayoría sobre el conjunto puede hacer renunciar a los demás a la defensa de su opinión.
La compensación entre la falta de información de unos expertos con la que aportan otros no está asegurada.
En función de la procedencia o cultura de los participantes, puede existir un sesgo común a muchos o, incluso, a todos los participantes.
La presión de la mayoría sobre el conjunto puede provocar alineamientos con teorías erróneas.
La posición, la personalidad o las facilidades de comunicación de algunos participantes puede evidenciar la vulnerabilidad informativa o comunicativa del resto y convencerlo.
El grupo hace de su supervivencia un fin, priorizando el acuerdo en lugar de producir una buena previsión.
1¿En qué consiste el Método Delphi?
El método de estructuración de un proceso de comunicación grupal que es efectivo a la hora de permitir a un grupo de individuos, como un todo, tratar un problema complejo.
Linstone y Turoff (1975)
Una interrogación iterativa a un número limitado de expertos con la finalidad de poner de manifiesto las convergencias de opiniones y deducir eventuales consensos. Astigarraga, E. (2003)
Su capacidad de predicción se basa en el empleo sistemático de un juicio intuitivo emitido
por un grupo de expertos.
El objetivo de los cuestionarios sucesivos es reducir el espacio de opinión que los separa, esto es cuánto se desvía la opinión del experto de la opinión del conjunto, precisando la mediana de las respuestas obtenidas.
Fuente: IPTS Institute for prospective technological studies. Joint Research Center. UE.
¿Cómo extraer y maximizar las ventajas que presentan los métodos basados en grupos de expertos minimizando sus inconvenientes?
Método eficaz de búsqueda de consensoEl método Delphi busca
aprovechar el debate de ideas en el grupo, eliminando las interacciones no deseadas, para obtener un consenso lo más fiable posible del grupo de expertos.
2Caracterización del Método Delphi
1. Anonimato de los participantesNingún experto que recibe el cuestionario conoce la identidad de los restantes ni
cual ha sido la respuesta individual. Sólo el administrador de la encuesta puede identificar a cada participante y sus respuestas.
+1.Anonimato de los participantes
Reducir el posible predominio y las influencias de algunas opiniones sobre otras (valor de la reputación o peso en una confrontación directa).
Permitir que cada miembro modifique sus opiniones sin que esto implique una pérdida de imagen pública, ante el grupo, la comunidad científica o la corporación sectorial (un grado de desviación significativa con la opinión mayoritaria o el cambio de opinión no va a ser identificada por los otros).
2.Una retroalimentación controlada
El proceso iterativo consiste en presentar varias veces el mismo cuestionario. Desde la segunda vez, el cuestionario es acompañado de los resultados anteriores, poniendo en conocimiento de los expertos los distintos puntos de vista relevados.
+2.Una retroalimentación controlada
El experto puede ir modificando su opinión si los argumentos que se le presentan le parecen más apropiados que los propios. La cantidad de rondas no está prestablecida y es ajustable.
13%
17%
57%
13%
3. Respuesta en forma estadísticaAunque el cuestionario pueda ser de naturaleza cualitativa, la medición que se realiza del resultado es de carácter cuantitativo.
La información que se presenta a los expertos comprende todas las opiniones indicando estadísticamente el grado de consenso o dispersión que existe en cada respuesta así como la respuesta mayoritaria del grupo.
+3. Respuesta en forma estadística
Permite una apreciación cuantitativa de la desviación y del consenso.Promueve un análisis menos interpretativo.
3Implementando el Método Delphi
Panel de expertos
Grupo de
trabajo
Método Delphi
Cuestionarios
conjunto de personas físicas consultadas
lista de preguntas que se envían a los expertos para revelar su opinión
a. Dirección del método y asesores expertos (no participarán del proceso).b. Equipo técnico o monitor (capacidades técnicas necesarias para la elaboración de los cuestionarios y el análisis estadístico de las respuestas.
(ET) Moderador: responsable de la interlocución con el panel.
ResultadosEstadísticas resultantes del procesamiento de las respuestas anteriores que
acompañan los sucesivos cuestionarios desde la segunda ronda.
Delphi Process Director Monitoring Panel de expertos
Selección de eventos
Selección del panel de expertos
Elaboración 1ºcuestionario 1º circulación
Envío del 1º cuestionario
Respuesta al 1ºcuestionario
Procesamiento de los resultados
Análisis estadístico de los resultados
Elaboración 2º cuestionario inc. Estadísticas 1ºc.
Análisis comparativo de los
resultados estadísticos con
sus respuestas al 1ºc.
2º circulación Envío del 2º cuestionario
Respuesta al 2ºc.
Procesamiento de los resultados
Análisis estadístico de los resultados
Análisis de los resultados
Informe
La implementación impone previamente a las rondas de consultas
• Establecer los horizontes temporales para los que se desea realizar la previsión.
• Determinar la cobertura y dimensión del estudio.
• Determinar el número de expertos que conformarán el panel.
• Seleccionar el panel de expertos a partir de criterios previamente establecidos (asegurando la representación plural de planteamientos).
• Explicar a los expertos el método y obtener su adhesión.
Determinación del número de expertos
! La práctica indica que un porcentaje variable -pero siempre elevado o muy elevado- de los que comienzan el proceso no lo seguirán hasta el final.
Un volumen de respuestas adecuado => partir de un número significativamente mayor que aquel considerado como pertinente. En muchos casos, el factor de seguridad se eleva a más de 3.
Por ejemplo, si se desea un total de 600 participantes efectivos, el panel inicial puede concernir un total de 2000 expertos.
Se pueden distinguir cuatro fases o circulaciones
7
6
5 4
3
21
Fases
En el primer cuestionario se pide que establezcan cuáles son las tendencias más importantes que marcarán el futuro ylos eventos que pueden tener lugar y determinar de alguna manera los escenarios posibles.
Los cuestionarios devueltos se analizan, se hace una síntesis y selección, obteniendo un conjunto manejable de eventos definidos lo más claramente posible. Sobre este conjunto versará el cuestionario de la segunda circulación.
Eventos
7
6
5 4
3
21
Fases
El 2º cuestionario es acompañado de la información estadística seleccionada de lo que respondieron todos y un recordatorio de su opinión inicial. El experto puede mantener su opinión inicial o modificarla, y expresarse libremente acerca de sus ideas si su opinión se aparta de la media. Se les consulta acerca de la fecha de cada evento. Se realiza un análisis estadístico de las previsiones de cada evento.
Tiempos
Este análisis comprende medidas de posición de dos tipos:
medidas de posición central que
informan sobre los valores medios de la serie de datos;
medidas de posición no centrales
que informan de como se distribuye el resto de los valores de la serie. 7
6
5 4
3
21
Fases
Medidas de posición central Media (valor medio ponderado de la serie de datos)Mediana (valor de la serie que se sitúa justamente en el centro de la muestra, un 50% de valores son inferiores y otro 50% son superiores)Moda (valor(es) que más se repite(n) en la muestra).
7
6
5 4
3
21
Fases
Medidas de posición no centralesOfrecen información sobre otros puntos característicos de la distribución que no son los valores centrales.P.e., distribución por cuartiles (3 valores que distribuyen la serie ordenada de forma creciente o decreciente en cuatro tramos iguales en los que cada uno de ellos concentra el 25% de los resultados).
7
6
5 4
3
21
Fases
7
6
5 4
3
21
Fases
En el 3º cuestionario los expertos pueden revisar o reafirmar su previsión anterior. Si ésta se encuentra fuera de los márgenes de consenso (mediana más desvíos/en los cuartiles inferior y superior), se les solicita los argumentos.El ET analiza los resultados y los argumentos dados para previsiones que salen de los márgenes intercuartiles.
M M M M
2005
2012
Tiempo
Rondas o circulaciones
7
6
5 4
3
21
Fases Teniendo en cuenta las explicaciones dadas, se les solicita que hagan nuevas previsiones. Se pide a todos los expertos que den su juicio en relación con las discrepancias que han surgido.
39%
32%
11%
14%
0%
4%
0% 2005
2006
2007
2008
2009
2010
>2010
0%
0%
0%
38%
31%0%31%
2005
2006
2007
2008
2009
2010
>2010
4%
4%
21%
21%11%18%
21%
2005
2006
2007
2008
2009
2010
>2010
0%0% 8%
46%23%
0%
23%
2005
2006
2007
2008
2009
2010
>2010
P2. La posibilidad de acceder a contenidos audiovisuales a través del despliegue masivo de redes de banda ancha puede modificar el escenario de uso educativo de Internet. ¿Cuándo ese escenario será una realidad para la mayoría de los europeos?
Resultados de la 1º vuelta Resultados de la 2º vuelta
Deseo que ocurra en:
Ocurrirá en:
Elaboración del informe finalLos resultados –p.e. las fechas de los eventos
previsibles- son calculados a partir del análisis de las respuestas de los expertos y los comentarios realizados. Las conclusiones pueden no ser convergentes, es decir únicas, ni tampoco uniformes. Sólo indican el valor medio al mismo tiempo que informan de aquellas opiniones que se encuentran a un lado u otro de esta media.
Elaboración del informe finalComprensivo, aunque no exhaustivo: expresa la opinión más generalizada así como también las que se desvían de ella y las razones que las sustentan.
Elaboración del informe finalSi no se hubiese obtenido un consenso y existieran posturas muy distantes,
debe ponerse en contraste los distintos argumentos para detectar los errores que pudieran haber habido durante el proceso.
En general, aun cuando el panel presenta una gran diversidad (variedad de zonas geográficas, especialidades, etc.), los expertos presentan opiniones bastante parecidas. En la primera ronda los datos pueden diferir, pueden no estar bien definidos y responder a tendencias subyacentes.
La convergencia final puede explicarse por:
la existencia de paradigmas compartidos, lo convencionalmente establecido o políticamente correcto.
DT!
Puede explicarse también (caso La SI en Europa, Presente y
perspectivas 2002-2005 de Telefónica) por una visión común del futuro, “una visión ideal de cuál es el estado final [...] un modelo [al que] queremos llegar y hacia él nos dirigimos, si bien existen pequeñas variaciones temporales o locales”.
4Limitaciones y problemáticas de la implementación del método
PanelEs un aspecto fundamental que exige el máximo rigor: reglas básicas, principios explícitos.
Pueden introducirse sesgos que orientarán el método hacia resultados más convergentes.
i) Sobredimensionamiento de una cierta visión disciplinar, paradigmática o axiológica en detrimento de otra. ii) Inclusión de participantes con posiciones dogmáticas reconocidas que dificulten la obtención de un consenso.
PanelEl volumen de la muestra, es decir de los expertos convocados y participantes, es uno de los factores que más influyen en la determinación de un panel. El volumen predetermina los equipos de trabajo y los recursos requeridos para el procesamiento de los datos.
La cobertura geográfica tanto como la disciplinar, la paradigmática y la axiológica raramente se resuelven sin tensiones.
PanelLos responsables de la comunicación del proyecto deberán esforzarse para incrementar la aplicación de instrumentos para asegurar la retención de expertos en las sucesivas rondas, buscando compensar la pérdida de interés por parte de los panelistas al responder un cuestionario deficiente o largo.
CuestionariosEl número y calidad de preguntas que, vinculado a los capacidades de procesamiento, no resulta ajeno al mantenimiento del interés por parte de los expertos.
CuestionariosLos problemas más comunes relevados en los formularios suelen provenir de su deficiente formulación
Vaguedad o ambiguedadExtensión excesivaCarencia/Exceso de información Interdependientes Escasa diferencia entre las opcionesPluriacepciones/semantización/interpretaciónTraduccionesCódigos disciplinarios
CuestionariosTodas estas incidencias pueden inducir a lecturas erróneas por parte de los expertos, y como consecuencia de ello, una desviación aumentada de las respuestas con respecto a la media.
CuestionariosLos prejuicios pueden llevar a formular preguntas orientadas o restringidas que no agotan todas las posibilidades de investigación.Generalmente, fuerzan un consenso de visiones en términos más genéricos de los que podían haberse obtenido.
CuestionarioSi está excesivamente limitado a la obtención de resultados puntuales vinculados con la proyección de fechas, no favorecerá la obtención de información más amplia.
5. La televisión interactiva presentará un mayor atractivo para su uso con finalidad educativa porque ofrecerá (en cada caso Indique un año posterior a 2004) Deseo Ocurrirá
Personalización de contenidos y servicios
Ampliación y profundización de los contenidos
Diversidad de contenidos accesibles por un guión no lineal
Inmediatez de las interacciones
Participación en la construcción colectiva de conocimiento
Construcción de comunidades virtuales de aprendizaje
Otros motivos
5. La televisión interactiva presentará un mayor atractivo para su uso con finalidad educativa porque ofrecerá (en cada caso Indique un año posterior a 2004) Deseo Ocurrirá
Personalización de contenidos y servicios
Ampliación y profundización de los contenidos
Diversidad de contenidos accesibles por un guión no lineal
Inmediatez de las interacciones
Participación en la construcción colectiva de conocimiento
Construcción de comunidades virtuales de aprendizaje
Otros motivos
13. ¿En qué año, en su país, (Indique una “X” en el año elegido para cada caso)
2005
2006
2007
2008
2009
2010
>2010
los usuarios de Internet con conexión ADSL representarán el 50% de los usuarios totales de Internet
los usuarios de Internet con conexión ADSL representarán el 75% de los usuarios totales de Internet
los usuarios de Internet con conexión ADSL representarán el 80% de los usuarios totales de Internet
habrá un ordenador en el 50% de los hogares
habrá un ordenador en el 75% de los hogares
habrá un ordenador en el 90% de los hogares
18. Al respecto de la evolución de la SI, considera que (Indique una “X” en el año elegido para cada caso)
2005
2006
2007
2008
2009
2010
>2010
el objetivo fijado por la UE de «convertirse en la economía del conocimiento más competitiva y dinámica del mundo, capaz de tener un crecimiento económico sostenible acompañado de una mejora cuantitativa y cualitativa del empleo y de una mayor cohesión social» será cumplido en
20. ¿Qué motiva particularmente a los habitantes de la UE para alfabetizarse digitalmente? ¿Existe alguna finalidad de uso de las TIC en sentido amplio, o acceso a Internet, que resulte particularmente motivador para los habitantes de la UE? (Puede indicar varios, comenzando con el “1” para indicar el más importante)
La comunicación familiar y con las amistades
Información, consultas y gestiones vinculadas con la salud
La educación a distancia El e-commerce
Los contenidos de ocio La capacitación laboral
La participación social El ejercicio de sus derechos ciudadanos
La confiabilidad del cuestionario está sujeta también al efectivo tratamiento de los datos cuantitativos tanto como a los datos cualitativos.Es posible extraer más información de la que un procesamiento directo de tipo estadístico puede proveer, a través, por ejemplo, de técnicas complementarias de análisis crítico del discurso.
CuestionariosElevar la creatividad para que la investigación facilite la comprensión y expresión de los expertos.
Cada uno de ellos, a pesar de sus puntos de vista diferentes del problema, debe poder emplear los cuestionarios para expresarse. Los cuestionarios deben presentar diferentes estructuras para permitir a los panelistas expresarse.
Tratamiento de los datosLa confiabilidad del cuestionario debe prolongarse en un tratamiento eficiente y eficaz de los datos. Una manipulación de los datos en la evaluación de los cuestionarios introduce distorsiones en el feedback, y por tanto en la ronda siguiente.
Tratamiento de los datosUna exploración y aprovechamiento restringido de los desacuerdos, o incluso
la ignorancia de los mismos, puede otorgar a las minorías una ponderación inadecuada.
Plan de ejecuciónEl plan establece la duración del proceso y la programación de cada fase o circulación. La retención de los expertos en el proceso está también relacionada con el plan de ejecución.
Una prolongación excesiva en el tiempo de duración puede provocar una mayor deserción de panelistas por la pérdida de interés en el tema.
Los métodos sustentados en juicios colectivos presentan una limitación de fondo:
el nivel cultural y nivel social de cada participante son factores determinantes de esa tasa de descuento, que es subjetiva y bidimensional, temporal y espacial.
La dimensión temporal está relacionada con el horizonte de planificación personal.
Cuando el método se sirve de la opinión de una estructura
social amplia, las distorsiones pueden provenir de las diferencias entre el horizonte de planificación de la “elite” participante y el de los segmentos de la base de la estructura social.
Existen diferencias notables respecto del pasado que afectan la visión que los individuos construyen del futuro: resultan más o menos influyentes los acontecimientos recientes y alejados de la historia.
La incertidumbre coyuntural también es un factor determinante de la capacidad de prospectiva.
SimplificacionesLa búsqueda de convergencia impone privilegiar la simplificación frente a la complejidad.
Pero… el exceso de simplificación representa uno de los riesgos más significativos de la aplicación del método.
Simplificaciones Una simplificación excesiva en los cuestionarios puede no facilitar la distinción entre ocurrencia deseada y probabilidad de ocurrencia, es decir, olvidar que la mayoría de los individuos tienen tendencia a confundir la probabilidad de ocurrencia con su deseabilidad de ocurrencia.
Simplificaciones El lenguaje empleado en los cuestionarios con la finalidad de simplificar el código para alcanzar a todos los perfiles socio-culturales del panel podría también constituir una excesiva simplificación. Un código único puede anestesiar la pluralidad!
SimplificacionesLa opinión de los expertos está ciertamente tan vinculada a sus horizontes espaciales y temporales como a las especificidades del campo de especialización en el que trabajan. Su visión prospectiva puede difícilmente considerar las variables de un macrosistema en el que su
sistema de implicación natural es sólo una parte. Ello le conduce a una simplificación por reducción del campo de especialización.
Estudios que se repiten, expertos que se repiten
Al proliferar los estudios prospectivos sobre similares o iguales campos de estudio sobredemandan el mismo universo de expertos con preguntas análogas.
Los expertos conocen los resultados anteriores.
El paradigma se retroalimenta produciendo un rendimiento decreciente con escasos aportes de conocimiento adicional sobre el tema.
5Cómo desarrollar el proceso sin morir en el intento
1. ¿Cómo debe ser el cuestionario?Preguntas precisas e independientes. Preferentemente, deben poder ser procesadas mediante un análisis cuantitativo.
2. Cuántas rondas?El nº de ciclos es variable y es fijado en cada caso en función de la materia, de la cobertura y del horizonte. En una mayoría de casos, dos rondas parecen ser suficientes.
Plazos Recursos
O2 O1
Objetivos
Del proyecto y
de los expertos
Procesamiento Análisis!
3. ¿Hasta dónde es personalizable?
4. ¿Solo o acompañado?En la mayoría de casos, con una combinación de métodos se obtienen mejores resultados que con una aplicación monometódica.
5. ¿Cuántos?Factores determinantes:Comunicación inicialCompromiso institucional/corporativoRemuneración
Resultados 1º Vuelta: 10-50%2º Vuelta: 3-30%
Tensiones latentesComunicación/No comunicaciónPagos/No pagosRápido/Lento (plazos para responder)Continuidad/Análisis (cuánto tardo en comenzar el siguiente ciclo?)Universo bien seleccionado/Gran universo
