Prof. Mario Piattini Velthuis Mario.Piattini@uclm.es

1. Metodologías y técnicas de investigación en informática Prof. Mario Piattini Velthuis Mario.Piattini@uclm.es

2. ÍNDICE • INTRODUCCIÓN • TESIS DOCTORAL • REVISIONES SISTEMÁTICAS • MÉTODOS DE INVESTIGACIÓN • COMUNICACIÓN CIENTÍFICA

3. ÍNDICE • INTRODUCCIÓN • TESIS DOCTORAL • REVISIONES SISTEMÁTICAS • MÉTODOS DE INVESTIGACIÓN • COMUNICACIÓN CIENTÍFICA

4. INTRODUCCIÓN OBJETIVOS Se trata de presentar los métodos de investigación más adecuados para la validación y contrastación de las hipótesis de investigación, así como de ofrecer a los alumnos un conjunto de herramientas que les permita facilitar la gestión del material de la investigación así como su compartición

5. INTRODUCCIÓN NORMATIVA • La evaluación se realiza en base a la asistencia y participación en clase y la entrega y/o defensa de un trabajo a elegir entre una lista de trabajos propuestos por los profesores. • La calificación (entre 0 y 10) se calcula de la siguiente forma: • a.      Hasta 6 puntos por el trabajo (es obligatorio entregarlo). • b.     Hasta 2 puntos por asistencia y participación en clase. • c.      Hasta 2 puntos por presentar y defender el trabajo en persona. • Para aprobar el curso es necesario obtener al menos un 5 en la calificación global.

6. ÍNDICE • INTRODUCCIÓN • TESIS DOCTORAL • REVISIONES SISTEMÁTICAS • MÉTODOS DE INVESTIGACIÓN • COMUNICACIÓN CIENTÍFICA

7. TESIS DOCTORAL DEBATE • ¿QUÉ ES UNA TESIS DOCTORAL? • - Características • - Estructura • - Consejos

8. ÍNDICE • INTRODUCCIÓN • TESIS DOCTORAL • REVISIONES SISTEMÁTICAS • MÉTODOS DE INVESTIGACIÓN • COMUNICACIÓN CIENTÍFICA

9. REVISIONES SISTEMÁTICAS INTRODUCCIÓN KITCHENHAM (2004) • Resumir la evidencia existente concerniente a un tratamiento o tecnología • Identificar brechas en la investigación actual para sugerir áreas de ulterior investigación • Proporcionar un marco para posicionar apropiadamente nuevas actividades de investigación

10. REVISIONES SISTEMÁTICAS INTRODUCCIÓN CARACTERÍSTICAS • • Empiezan definiendo un protocolo de revisión que especifique la cuestión investigada y los métodos a utilizar • Se basan en una estrategia de investigación definida que pretende detectar toda la literatura relevante posible • Documentan su estrategia de búsqueda para que los lectores puedan conocer su rigor y compleción • • Requieren criterios explícitos de inclusión y exclusión para evaluar cada estudio primerio potencial • • Especifica la información de cada estudio primario incluyendo criterios de calidad • • Es un prerrequisito para meta-análisis cuantitativos

11. REVISIONES SISTEMÁTICAS PROCESO PROCESO DE REVISIÓN • • Empiezan definiendo un protocolo de revisión que especifique la cuestión investigada y los métodos a utilizar • Se basan en una estrategia de investigación definida que pretende detectar toda la literatura relevante posible • Documentan su estrategia de búsqueda para que los lectores puedan conocer su rigor y compleción • • Requieren criterios explícitos de inclusión y exclusión para evaluar cada estudio primerio potencial • • Especifica la información de cada estudio primario incluyendo criterios de calidad • • Es un prerrequisito para meta-análisis cuantitativos

12. REVISIONES SISTEMÁTICAS PROCESO • PLANIFICAR LA REVISIÓN • Identificar la necesidad de una revisión • Desarrollar un protocolo de revisión • LLEVAR A CABO LA REVISIÓN • 1. Identificar la investigación • 2. Seleccionar los estudios primarios • 3. Evaluar la calidad del estudio • 4. Extraer y monitorizar datos • 5. Sintetizar datos • REPORTAR LA REVISIÓN

13. REVISIONES SISTEMÁTICAS PROCESO PLANIFICAR LA REVISIÓN Identificar la necesidad de una revisión • Cuáles son los objetivos de la revisión? • Qué fuentes se buscaron para identificar los estudios primarios? • Hubo algunas restricciones? • Cuáles fueron los criterios de inclusión/exclusión y cómo se aplicarion? • Qué criterios se utilizaron para evaluar la calidad de los estudios primarios y cómo se aplicaron? • Cómo se extrajeron los datos de los estudios primarios? • Cómo se sintetizaron los datos? Cómo se investigaron las diferencias entre los estudios? Cómo se combinaron los datos? Fue razonable combinar los estudios? Se obtienen las conclusiones a partir de las evidencias?

14. REVISIONES SISTEMÁTICAS PROCESO PLANIFICAR LA REVISIÓN Desarrollar un protocolo de revisión • Background. • Cuestiones de investigación • Estrategia • Criterios y procedimientos de selección de estudios • Procedimientos y listas de control para la evaluación de la calidad de los estudios • Estrategia de extracción de datos • Síntesis de los datos extraídos • Planificación del proyecto

15. REVISIONES SISTEMÁTICAS PROCESO PLANIFICAR LA REVISIÓN Cuestiones de investigación • Evaluar el efecto de una tecnología de Ingeniería del Software • Evaluar la frecuencia de un factor de desarrollo de un proyecto o la frecuencia de éxito o fallo de proyecto • - Identificar los factores de coste y riesgo asociados con una tecnología • - Identificar el impacto de tecnologías en modelos de fiabilidad, desempeño y coste • Análisis de costes/beneficios de tecnologías software

16. REVISIONES SISTEMÁTICAS PROCESO PLANIFICAR LA REVISIÓN Cuestiones de investigación • La cuestión apropiada: • Es significativa e importante tanto para profesionales como para investigadores • Provocará cambios en las prácticas actuales de Ing. de Sw. O aumentará la confianza en las mismas • Identificará discrepancias entre creencias y realidad

17. REVISIONES SISTEMÁTICAS PROCESO PLANIFICAR LA REVISIÓN Cuestiones de investigación • Estructura de la cuestión: • POBLACIÓN: • Rol específico de Ing. del Sw. • Tipo de Ingeniero de Software • Área de aplicación • INTERVENCIÓN • RESULTADOS

18. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Identificación de la investigación • Generar una estrategia de búsqueda • Búsquedas preliminares para identificar revisiones sistemáticas existentes y evaluar el volumen de los estudios potencialmente relevantes • Búsquedas de prueba utilizando combinaciones de términos • Revisiones de resultados de investigación • Consultas con expertos en el área

19. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Identificación de la investigación • Bases de datos electrónicas • Listas de referencias de estudios y revisiones • Revistas, literatura “gris”, actas de congreso • Internet Investigadores concretos

20. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Identificación de la investigación • Sesgos de publicación • Gestión bibliográfica • Recuperación de documentos

21. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Identificación de la investigación • Documentar la búsqueda

22. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Selección de estudios • Criterios de selección de estudios • Proceso de selección de estudios • Fiabilidad de las decisiones de inclusión

23. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Evaluación de la calidad de los estudios

24. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Evaluación de la calidad de los estudios

25. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Evaluación de la calidad de los estudios

26. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Evaluación de la calidad de los estudios

27. REVISIONES SISTEMÁTICAS PROCESO Desarrollo de instrumentos de calidad: listas de control

28. REVISIONES SISTEMÁTICAS PROCESO

29. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Extracción de datos • Diseño de formatos de extracción de datos • Contenido: • Nombre de la revisión • Fecha de extracción de datos • Título, autores, revista y otros detalles de publicación • Espacio para notas adicionales • Procedimientos de extracción de datos • Múltiples publicaciones de los mismos datos • Datos no publicados, incompletos y que requieren manipulación

30. REVISIONES SISTEMÁTICAS PROCESO LLEVAR A CABO LA REVISIÓN Síntesis de datos • Descriptiva (no cuantitativa) • Meta-análisis (cuantitativa) • Análisis de sensibilidad • Sesgo de publicación

31. REVISIONES SISTEMÁTICAS PROCESO REPORTAR LA REVISIÓN • Dos formatos: • Informe técnico o capítulo de una tesis doctoral • Artículo en revista o congreso

34. REVISIONES SISTEMÁTICAS EJEMPLO REVISIONES SISTEMÁTICAS EN ING. SW. (Biolchini et al., 2005) Ver ejemplo, comentar aportaciones respecto a la propuesta de Kitchenham

35. ÍNDICE • INTRODUCCIÓN • TESIS DOCTORAL • REVISIONES SISTEMÁTICAS • MÉTODOS DE INVESTIGACIÓN • COMUNICACIÓN CIENTÍFICA

36. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN

37. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN

38. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN CUALITATIVO Action Research Case Study Research Ethnography Grounded Theory

39. CV, SS Survey Lab experiment Field experiment Grounded theory Action research Case study Real- Life Employee MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN COCKBURN (2003)

40. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN

41. Videotaping Lab experiment Action research Longitudinal Case study Survey (time) snapshot episode project years/decades MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN

42. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN

43. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN FAMILIAS DE ESTUDIOS (BASILI ET AL., 2001) Criterios para la construcción de cuerpos de conocimiento en áreas de Ingeniería del Software: 1. Fijar hipótesis de alto nivel que sean de interés para la comunidad de Ingeniería del Software 2. Hipótesis detalladas escritas en un contexto que permitan un experimento bien definido 3. Variables de contexto, sugeridas por las hipótesis, que puedan modificarse para permitir variaciones en el diseño experimental 4. Una cantidad suficiente de información para que el experimento pueda ser replicado 5. Una comunidad de investigadores que comprendan la experimentación, la necesidad de réplica y que estén dispuestos a colaborar y replicar

44. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN

45. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN Kish (1959) divide las investigaciones empíricas en: • Encuestas son investigaciones en las que los sujetos del estudio son una muestra representativa de la población a la que pertenecen. • Casos de estudio son aquellos en los que no hay aleatoriedad de variables perturbadoras ni representatividad de los sujetos que componen la muestra de estudio. • Experimentos son las investigaciones en las que las posibles variables perturbadoras han sido aleatorizadas.

46. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN

47. MÉTODOS DE INVESTIGACIÓN INTRODUCCIÓN La experimentación provee una manera sistemática, disciplinada, cuantificable y controlada de evaluar actividades desarrolladas por humanos. Wohlin et al. (2000)

48. MÉTODOS DE INVESTIGACIÓN CASO DE ESTUDIO CASO DE ESTUDIO (Yin, 2003) • Una investigación empírica que aborda un fenómeno contemporáneo dentro de su contexto real, cuando: • las fronteras entre el fenómeno y el contexto no son claramente evidentes • trata con situaciones distintivas técnicamente en las cuales habrá muchas más variables de interés que datos • se basa en múltiples fuentes de evidencia, con datos necesarios para converger de una manera triangular • se beneficia del desarrollo previo de proposiciones teóricas para guiar la recogida y análisis de datos.

49. MÉTODOS DE INVESTIGACIÓN CASO DE ESTUDIO • Aplicaciones de los casos de estudio • explicar los supuestos enlaces causales en intervenciones reales que son muy complejos para las estrategias de encuesta o experimento • describir una intervención y el contexto real en la que ha ocurrido • ilustrar ciertos tópicos en una evaluación, en modo descriptivo • explorar las situaciones en las que la intervención que está siendo evaluada no tiene un conjunto claro de resultados únicos • estudiar un estudio de evaluación (metaevaluación)

50. MÉTODOS DE INVESTIGACIÓN CASO DE ESTUDIO • A) Diseño de caso único: es análogo a un experimento único y se justifica cuando: • representa un caso crítico para probar una teoría • representa un caso extremo o único • representa un caso representativo o típico • es un caso revelador (una oportunidad de observar un fenómeno previamente inaccesible) • es un caso longitudinal • B) Múltiples casos de estudio: se considera la evidencia más sólida y el estudio más robusto. La lógica de replicación es análoga a la utilizada en múltiples experimentos.