Caracter ísticas de la investigación en TI

1. Característicasdela investigación en TI Raúl Monroy (de varias notas de A Bundy)

2. Contenido • Hipótesis y evidencia • Dimensiones, guías para caracterizar la investigación en TI • Tipos de investigación: teórica versus experimental, y sus implicaciones. • Criterios para evaluar investigación en TI

3. Doctorado: un proceso reflexivo • Investigar implica un escrutinio continuo: • Cuál(es) es(son): • Mi motivación. • Mis metas y objetivos. • La novedad de mi idea. • El trabajo relacionado con el mío, especialmente el competidor. • Qué asevero y cuál es mi hipótesis. • Cuáles son mis evidencias. • En qué etapa estoy.

4. 1. Hipótesis y evidencia • Un avance en ciencia o ingeniería es resultado del planteamiento de una hipótesis y las evidencias que la sustentan. • En TI, típicamente una hipótesis es: La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z, en la dimensión Y.

5. La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z, en la dimensión Y.

6. Investigación en TI1. Explorar un espacio de técnicas • Inventar una nueva técnica. • Investigar una técnica existente, para descubrir: • Nuevas propiedades, • Relaciones con otras técnicas, … • Mejorar una técnica existente. • Aplicar novedosamente una técnica existente. • Combinar técnicas existentes.

7. La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z, en la dimensión Y.

8. Investigación en TI2. Establecer propiedades con respecto a una dimensión • Las dimensiones varían dependiendo del carácter específico de la investigación: • Científica. • Ingenieril. • Conductual (ciencia cognitiva).

9. 2. Dimensiones científicas • Eficiencia: • Dimensiones: tiempo, espacio. • Evidencia incluye estadísticos: • Promedio, varianza, mejor caso, peor caso, etc. • Comportamiento: propiedades del resultado: • Calidad: correcto, óptimo, etc. • Demanda bases de prueba estándar, “golden standard” • Cobertura: rango de aplicación: • Calidad: completo o parcial

10. 2. Dimensiones ingenieriles • Facilidad de uso. • Fiabilidad. • Calidad de extensible y mantenerse en buen estado. • Calidad de ser escalado(a). • Compatibilidad. • Costo.

11. 2. Dimensiones conductuales • Compatibilidad con comportamientos externos. • Compatibilidad con procesamiento interno. • Adaptabilidad. • Capacidad de evolución.

12. 2. La dimensión desconocida • Podríamos usar poder para referirnos a las dimensiones anteriores, conjuntamente. • Otras dimensiones, más subjetivas, con las que podemos comparar dos o más técnicas son: • Claridad. • Parsimonia, por ejemplo: la navaja de Occam. • Calidad de prescripción. • Predictibilidad. • Simplicidad, etc.

13. 2. El impacto de hipótesis en textos científicos • Una hipótesis que es: • Ambigua causa dudas, incertidumbre, o confusión en el lector (árbitro). • Vaga despierta escepticismo en el lector (árbitro) sobre la solidez de la metodología científica usada, formando prejuicios como: • No existe evidencia, o ésta no es concluyente. • La investigación carece de foco, y por tanto no es significativa.

14. ¿Y la evidencia? • La evidencia, coincidiendo con el tipo de investigación, puede ser: • Teórica (teoremas o argumentos). • Experimental (mediciones tomdas de en un prototipo funcional). • Experimental (juicios emitidos por terceros).

15. 3. Tipos de investigación • El objeto de estudio puede encontrarse en diferentes niveles, por ejemplo: • Una tarea, un sistema, una técnica, un parámetro, etc. • El propósito del estudio consiste en explorar el espacio de técnicas. • La investigación puede ser: • Teórica o experimental.

16. 3. Investigación teórica • Aplicable a una técnica, o a una tarea. • Uso de matematicas para formalizar definiciones y propiedades (pruebas). • Hipótesis: conjetura – evidencia: teorema. • Ventajas: • Facilita o posibilita el análisis abstracto. • Expande el espacio de técnicas (genera y prueba). • Un teorema comprende e impacta a todo un universo, posiblemente infinito. • Sugiere extensiones y generalizaciones. • Desventajas: • Abstracción puede no ser fiel al objeto de estudio.

17. 3. Investigación experimental • Realizable a dos niveles: • Exploratorio: • Explorasión (visualización) de datos para identificar causas, razones, patrones, etc. • Validación de hipótesis: • Medir comportamiento del objeto de estudio para obtener evidencia que sustente hipótesis, tornándola en aseveración. • Para validación de hipótesis, implica establecer dos obligaciones fundamentales: • Demostrar la generalidad de la validación. • Demostrar que las evidencias colectadas sustentan la hipótesis.

18. Cómo establecer representatividad de los ejemplos de validación • Separar ejemplos para construcción de ejemplos para validación. • Usar ejemplos “variados”, es decir que cubran áreas distintas de la población. • Colectar ejemplos de fuentes independientes. • Colectar ejemplos de fuentes, que, por consenso, reconoce la comunidad. • Usar ejemplos consensualmente etiquetados “difíciles”. • Usar ejemplos patológicos.

19. Cómo establecer sustentabilidad de la hipótesis, dados los resultados • Diseño de experimentos: • Variar algo a la vez (variables independientes versus variables dependientes). • Establecer relación de causa – efecto. • Explicar variabilidad. • Establecer significado estadístico

20. Criterios para evaluar investigación en TI • Hipótesis: Investigar en TI es explorar un espacio de técnicas, a través de: • Describir una nueva técnica. • Mejorar una técnica. • Establecer propiedades de una técnica o relaciones entre dos o más técnicas. • Verificar la validez psicológica de una técnica. • Combinar varias técnicas (en un sistema). • Identificar y motivar una nueva tarea. • Establecer propiedades de una tarea. • Estructurar e ilustrar un área. • ¿Etc.?

21. Con relación en una técnica • ¿Qué tareas resuelve? ¿Cuál es el rango de su aplicabilidad? ¿Cuál es su factor de impacto? • ¿Pueden caracterizarse las tareas para las cuales es aplicable y que resuelve exitosamente? • Si puede describirse formalmente: • ¿es correcta, completa, termina (en un tiempo razonable)? ¿cuál es su complejidad? • ¿Cómo difiere de técnicas relacionadas? • ¿Se ha implementado? Si sí, ¿con que resultados?

22. Con relación en un sistema • Implementación: • ¿Cuál es el estado? • ¿Es fiel a la descripción abstracta o teórica de la(s) técnica(s)? • ¿Qué tecnica(s) o componente(s) pueden incorporarse en otros sistemas (rivales)? • ¿Está disponible? ¿Ha sido validada? ¿Con qué resultados? • ¿Es flexible?

23. Con relación en un sistema • Validación: • Basado en el DdE, ¿qué hipótesis fueron validadas? ¿Cón qué resultados? • ¿El sistema (y las técnicas incorporadas) explican los resultados obtenidos? ¿Se reemplazaron o modificaron técnicas o componentes para medir el efecto de estas en resultados? • ¿Qué tan vasta fue la validación? ¿Es el conjunto de validación representativo? • ¿Cómo se distribuyen los resultados positivos y negativos? • ¿Se registraron medidas de desempeño? ¿Pueden correlacionarse estas medidas con el análisis teórico (predictivo)? • ¿Se ha comparado el sistema con otras experimentalmente? ¿Con qué resultados?

24. Con relación en una teoría • ¿Son válidasyjustificadaslasaseveraciones, lasdemostraciones, los argumentos, etc? • ¿Son significatos? • ¿El estudio se basa en condicionessimplificantes? ¿Qué tan realistas son dichascondiciones? • ¿Podemossimplificar los estudios, apoyándonos en otrascondiciones, quetambiénseanrealistas? • ¿Quéconsecuencias de interéspuedenconcluirse?

25. Conclusiones • Principios generales para evaluar técnicas de TI • Contribución: hipótesis y evidencia • Poder es un conjunto de dimensiones: • Científicas, ingenieriles, conductuales • Evidencia teórica o experimental • Experimentación: exploración o prueba de hipótesis