Facultad de Ingeniería Programa de prospectiva e innovación tecnológica

1. Facultad de IngenieríaProgramade prospectiva e innovación tecnológica

2. Métodos de expertos Aplicación del método delphi Dr. Roberto Igarza Doctor en Comunicación Social (Universidad Austral), Ingeniero G.C. ETS (Ecole d’ingénieurs de Lausanne), Auditor Líder de Sistemas de Gestión de la Calidad (IMQ-Italia, IRAM).

3. El método Delphi Objetivos El método aplicado Consigna de autoevaluación Métodos de expertos

4. Sensibilizar sobre la importancia que tiene el uso de los métodos sistemáticos de intercambio comunicativo para la construcción de consensos sobre escenarios futuros en una corporación científica, empresaria o sectorial. 1 Revisar las claves de éxito en la aplicación del método Delphi. 2 Objetivos

5. 0 Métodos de expertos

6. Tres grandes categorías de los métodos generales de prospectiva Métodos correlativos Focalizan en los factores que están implicados en la evolución del escenario actual y en el grado en qué pueden influir en el futuro.Se interesan por analizar las posibles líneas evolutivas que van a seguir esos factores.

7. Tres grandes categorías de los métodos generales de prospectiva Métodos extrapolativos Proyectan hacia el futuro la información que se posee de la evolución que han tenido las variables en el pasado.A partir de la información histórica disponible, se establecen posibles tendencias o ciclos evolutivos, los que arrojarán los posibles entornos futuros.

8. Tres grandes categorías de los métodos generales de prospectiva Métodos de expertos Se sustentan en la consulta a personas reconocidas por • su gran conocimiento sobre el entorno, • influir en la toma de decisiones sobre variables que afectan los escenarios futuros, • ser notables referentes en algún componente del sistema.

9. Methodology Tree for Forecasting Knowledge source Judgmental Statistical Univariate Multivariate Others Self Data- based Theory- based Structured Role No role Unstructured Extrapolation models Data mining Intentions/ expectations Role playing(Simulatedinteraction) Unaided judgment Quantitative analogies Neural nets Conjoint analysis Rule-based forecasting Linear Classification Structured analogies Decom-position Expert Forecasting Game theory Judgmental bootstrapping Expert systems Segmentation Causal models Methodology Tree for Forecasting forecastingprinciples.com JSA-KCG November 2007

10. Sufficient objective data Judgmental methods Quantitative methods No Yes Large changes expected Good knowledge of relationships No Yes No Yes Conflict among a few decision makers Policy analysis Type of data Large changes likely No Yes No Yes No Yes Cross-section Time series Highly repetitive with learning Similar cases exist Policy analysis Policy analysis Good domain knowledge Yes No No Yes Yes No Unaided judgment Type of knowledge No Yes Yes No Domain Self Expert Forecasting (Delphi, NGT, ETE, Markets) Judgmental bootstrapping/ Decomposition Conjoint analysis Intentions/ expectations Role playing(Simulatedinteraction/ Game theory) Structured analogies Quantitative analogies Expert systems Rule-based forecasting Extrapolation/ Neural nets/Data mining Causal models/ Segmentation Several methods provide useful forecasts No Yes Combine forecasts Single method Omitted information? Selection Tree for Forecasting Methods forecastingprinciples.com JSA-KCG November 2007 No Yes Use adjusted forecast Use unadjusted forecast

11. Los métodos de expertos utilizan como fuente de información un grupo limitado de personas a las que se les reconoce como poseedores de un conocimiento elevado en la materia.

12. la evolución pasada resulta de paradigmas cuya vigencia no asegura una continuidad o no pueden explicar el comportamiento de ciertas variables en el tiempo, sometidas a consideraciones éticas, morales, políticas o culturales, 1 la información sobre la evolución pasada carece de atributos que aseguren una extrapolación confiableo simplemente no existen datos históricos con los que trabajar, 2 3 los cambios detectados en el comportamiento de las variables en la actualidad impone el contraste de opiniones y juicios, 4 el impacto de los factores externos tiene mayor influencia en la evolución que los factores internos. Son de aplicación, en especial, cuando: delphi

13. Los expertos exponen sus ideas sobre las que se elabora un informe en el que se indican cuáles son, según sus opiniones, las posibles alternativas.

15. 1 ¿En qué consiste el Método Delphi?

16. El método deestructuración de un proceso de comunicación grupalque es efectivo a la hora depermitir a un grupo de individuos, como un todo, tratar un problema complejo. Linstone y Turoff (1975)

17. Una interrogación iterativa a un número limitado de expertos con la finalidad de poner de manifiesto las convergencias de opiniones y deducir eventuales consensos. Astigarraga, E. (2003)

18. Su capacidad de predicción se basa en elempleo sistemático de un juicio intuitivoemitido por un grupo de expertos. El objetivo de los cuestionarios sucesivos es reducirel espacio de opinión que los separa, esto es cuánto se desvía la opinión del experto de la opinión del conjunto, precisando la mediana de las respuestas obtenidas.

19. Fuente: IPTS Institute for prospective technological studies.Joint Research Center. UE.

20. ¿Cómo extraer y maximizar las ventajas que presentan los métodos basados en grupos de expertos minimizando sus inconvenientes?

21. Método eficaz de búsqueda de consenso El método Delphi busca aprovechar el debate de ideas en el grupo, eliminando las interacciones no deseadas, para obtener un consenso lo más fiable posible del grupo de expertos.

23. 2 Caracterización del Método Delphi

24. 1. Anonimato de los participantes Ningún experto que recibe el cuestionario conoce la identidad de los restantes ni cual ha sido la respuesta individual. Sólo el administrador de la encuesta puede identificar a cada participante y sus respuestas.

25. + • Anonimato de los participantes Reducir el posible predominio y las influencias de algunas opiniones sobre otras(valor de la reputación o peso en una confrontación directa). Permitir que cada miembro modifique sus opiniones sin que esto implique una pérdida de imagen pública, ante el grupo, la comunidad científica o la corporación sectorial (un grado de desviación significativa con la opinión mayoritaria o el cambio de opinión no va a ser identificada por los otros).

26. Una retroalimentación controlada El proceso iterativo consiste en presentar varias veces el mismo cuestionario. Desde la segunda vez, el cuestionario es acompañado de los resultados anteriores, poniendo en conocimiento de los expertos los distintos puntos de vista relevados.

27. + • Una retroalimentación controlada El experto puede ir modificando su opinión si los argumentos que se le presentan le parecen más apropiados que los propios. La cantidad de rondas no está prestablecida y es ajustable.

28. 3. Respuesta en forma estadística Aunque el cuestionario pueda ser de naturaleza cualitativa, la medición que se realiza del resultado es de carácter cuantitativo. La información que se presenta a los expertoscomprende todas las opiniones indicando estadísticamente el grado de consenso o dispersión que existe en cada respuesta así como la respuesta mayoritaria del grupo.

29. + 3. Respuesta en forma estadística Permite una apreciación cuantitativa de la desviación y del consenso. Promueve un análisis menos interpretativo.

30. 3 Implementando el Método Delphi

31. Resultados Estadísticas resultantes del procesamiento de las respuestas anteriores que acompañan los sucesivos cuestionarios desde la segunda ronda. Panel de expertos Cuestionarios Método Delphi conjunto de personas físicas consultadas lista de preguntas que se envían a los expertos para revelar su opinión a. Dirección del método y asesores expertos (no participarán del proceso). b. Equipo técnico o monitor (capacidades técnicas necesarias para la elaboración de los cuestionarios y el análisis estadístico de las respuestas. Grupo de trabajo (ET) Moderador: responsable de la interlocución con el panel.

32. Delphi Process Director Monitoring Panel de expertos 1º circulación Envío del 1º cuestionario 2º circulación Envío del 2º cuestionario Informe Elaboración 1ºcuestionario Selección de eventos Respuesta al 1ºcuestionario Selección del panel de expertos Procesamiento de los resultados Análisis estadístico de los resultados Análisis comparativo de los resultados estadísticos con sus respuestas al 1ºc. Elaboración 2º cuestionario inc. Estadísticas 1ºc. Respuesta al 2ºc. Procesamiento de los resultados Análisis estadístico de los resultados Análisis de los resultados

33. La implementación impone previamente a las rondas de consultas • Establecer los horizontes temporalespara los que se desea realizar la previsión. • Determinar la cobertura y dimensióndel estudio. • Determinar el número de expertosque conformarán el panel. • Seleccionar el panel de expertosa partir de criterios previamente establecidos(asegurando la representación plural de planteamientos). • Explicar a los expertos el método y obtener su adhesión.

34. Determinación del número de expertos ! La práctica indica que unporcentaje variable -pero siempre elevado o muy elevado- de los que comienzan el proceso no lo seguirán hasta el final.

35. Un volumen de respuestas adecuado =>partir de un número significativamente mayor que aquel considerado como pertinente. En muchos casos, el factor de seguridad se eleva a más de 3. Por ejemplo, si se desea un total de 600 participantes efectivos, el panel inicial puede concernir un total de 2000 expertos.

36. Se pueden distinguir cuatro fases o circulaciones

37. Eventos En el primer cuestionario se pide que establezcan cuáles son las tendencias más importantes que marcarán el futuro y los eventos que pueden tener lugar y determinar de alguna manera los escenarios posibles. Los cuestionarios devueltos se analizan, se hace una síntesis y selección, obteniendo un conjunto manejable de eventos definidos lo más claramente posible. Sobre este conjunto versará el cuestionario de la segunda circulación.

38. Tiempos El 2º cuestionario es acompañado de la información estadística seleccionada de lo que respondieron todos y un recordatorio de su opinión inicial. El experto puede mantener su opinión inicial o modificarla, y expresarse libremente acerca de sus ideas si su opinión se aparta de la media. Se les consulta acerca de la fecha de cada evento.Se realiza un análisis estadístico de las previsiones de cada evento.

39. Este análisis comprende medidas de posición de dos tipos: medidas de posición central que informan sobre los valores medios de la serie de datos; medidas de posición no centrales que informan de como se distribuye el resto de los valores de la serie.

40. Medidas de posición central Media (valor medio ponderado de la serie de datos) Mediana (valor de la serie que se sitúa justamente en el centro de la muestra, un 50% de valores son inferiores y otro 50% son superiores) Moda (valor(es) que más se repite(n) en la muestra).

41. Medidas de posición no centrales Ofrecen información sobre otros puntos característicos de la distribución que no son los valores centrales. P.e., distribución por cuartiles (3 valores que distribuyen la serie ordenada de forma creciente o decreciente en cuatro tramos iguales en los que cada uno de ellos concentra el 25% de los resultados).

42. En el 3º cuestionario los expertos pueden revisar o reafirmar su previsión anterior. Si ésta se encuentra fuera de los márgenes de consenso (mediana más desvíos/en los cuartiles inferior y superior), se les solicita los argumentos. El ET analiza los resultados y los argumentos dados para previsiones que salen de los márgenes intercuartiles.

43. M M M M Tiempo 2012 2005 Rondas o circulaciones

44. Teniendo en cuenta las explicaciones dadas, se les solicita que hagan nuevas previsiones. Se pide a todos los expertos que den su juicio en relación con las discrepancias que han surgido.

46. Elaboración del informe final Los resultados–p.e. las fechas de los eventos previsibles-son calculados a partir del análisis de las respuestas de los expertos y los comentarios realizados. Las conclusionespueden no ser convergentes, es decir únicas, ni tampoco uniformes. Sólo indican el valor medio al mismo tiempo que informan de aquellas opiniones que se encuentran a un lado u otro de esta media.

47. Elaboración del informe final Comprensivo, aunque no exhaustivo: expresa la opinión más generalizada así como también las que se desvían de ella y las razones que las sustentan.

48. Elaboración del informe final Si no se hubiese obtenido un consenso y existieran posturas muy distantes, debe ponerse en contraste los distintos argumentos para detectar los errores que pudieran haber habido durante el proceso.

49. En general, aun cuando el panel presenta una gran diversidad (variedad de zonas geográficas, especialidades, etc.), los expertos presentan opiniones bastante parecidas. En la primera ronda los datos pueden diferir, pueden no estar bien definidos y responder a tendencias subyacentes.

50. La convergencia final puede explicarse por: la existencia de paradigmas compartidos, lo convencionalmente establecido o políticamente correcto.