Factores de Validez

1. Factores de Validez Curso de Metodología de la Investigación Profesor Manuel Lobos González

2. Factores de Validez • Validez interna: • son las condiciones mínimas para asegurar la interpretablilidad de los datos • Validez externa • son las condiciones mínimas para asegurar la generalización de las conclusiones Propiamente tal De la conclusión estadística Propiamente tal De constructo

3. VALIDEZ DE CONSTRUCTO VALIDEZ INTERNA ¿Es el diseño lo suficientemente sensible para detectar relaciones causales? ¿Qué variables teóricas o implícita están siendo estudiadas? VALIDEZ DE CONCLUSIÓN ESTADÍSTICA VALIDEZ EXTERNA ¿Pueden generalizarse los efectos y causas de un estudio a otros sujetos, situaciones o contextos? ¿El estudio es sensible para detectar si las las variables covarían? Factores de Validez

4. Validez interna. • Validez interna propiamente tal. • Historia. • Maduración. • Medición. • Instrumentación. • Mortalidad experimental • Regresión estadística. • Interacción entre: • Selección-historia. • Selección-maduración. • Selección-instrumentación.

5. Validez interna. • Historia : acontecimientos específicos ocurridos entre mediciones sucesivas para evaluar el logro de un objetivo instruccional. • Maduración: procesos internos del evaluado como cansancio, desmotivación, desinterés, etc. • Medición: influencia que la administración de una prueba o test ejerce sobre los resultados de otro posterior. • Instrumentación: cambios en los instrumentos de medición o en los evaluadores que pueden producir variaciones en las mediciones que se obtengan.

6. Validez interna. • Mortalidad Experimental: pérdida de sujetos a lo largo de una experimentación con grupos, que hace cambiar la composición o características de los grupos comparados. • Regresión estadística: Es un concepto matemático y se refiere al efecto de las puntuaciones extremas que tienden a "regresar a la media" de grupo. Cuando en la VD parecen existir efectos de techo o suelo, es decir, las puntuaciones son extremas y poco podrían aumentar o disminuir, respectivamente, entonces la tendencia en la siguiente medición es a obtener datos más cercanos a media, o al menos más estables, y no reflejarían el posible cambio por la VI.

7. Validez interna. • Interacción de selección con los otros factores: En los diseños que incluyen dos o más grupos, una selección diferencial de sujetos puede original que los grupos sean diferentes aun antes de iniciar el experimento. Esto puede actuar con alguna otra forma de invalidez ocultando los verdaderos factores que los generaron. La forma como son seleccionados los sujetos puede interactuar con cualquiera de las otras formas de invalidez, es decir, pueden existir en un estudio más de una fuente que atente contra la validez interna.

8. Validez interna. • Validez de la conclusión estadística • Potencia. • Violación de los supuestos estadísticos. • Efecto de comparaciones múltiples. • Confiabilidad de la medición. • Confiabilidad de la administración de los tratamientos. • Control de las variables perturbadoras de la situación experimental. • Heterogeneidad aleatoria de los sujetos.

9. Validez interna. • Validez de la conclusión estadística • Potencia. Baja probabilidad de rechazar la Hipótesis nula cuando es falsa o de detectar diferencias cuando realmente existen. • Violación de los supuestos estadísticos. Incumplir las condiciones básicas en que se basan las pruebas estadísticas. • Efecto de comparaciones múltiples. A medida que aumenta el número de comparaciones de medias de grupo aumenta la probabilidad de detectar diferencias cuando realmente no existen. • Confiabilidad de la medición: La utilización de variables de medida poco confiables y válidas, incrementa la probabilidad de concluir que los tratamientos no son efectivos, cuando en realidad ejercen influencia.

10. Validez interna. • Validez de la conclusión estadística • Confiabilidad de la administración de los tratamientos. La falta de homogeneidad en la administración de los tratamientos, incrementa la probabilidad de concluir que los tratamientos no son efectivos, cuando en realidad ejercen influencia. • Control de las variables perturbadoras de la situación experimental. Algunas características ajenas al experimento pueden ejercer influencia sobre la medida de la variable dependiente. • Heterogeneidad aleatoria de los sujetos. La heterogeneidad de las unidades experimentales disminuye la probabilidad de detectar efectos producidos por el tratamiento experimental

11. Validez externa. • Validez externa propiamente tal. • Interacción entre selección y tratamiento. • Interacción entre ambiente y tratamiento. • Interacción entre historia y tratamiento.

12. Validez externa. • Interacción de selección y tratamiento: posible limitación de la generalización de resultados a sujetos o poblaciones no directamente incluidas en la investigación, es decir, mantienen presente la posibilidad de que las relaciones causales identificadas sean especificas de los sujetos directamente analizados. • Interacción de ambiente y tratamiento: las limitaciones a la generalización de los resultados puede derivar de la especificidad del contexto de la relación causal. • Interacción de historia y tratamiento: las limitaciones a la generalización de las relaciones causales pueden estar directamente vinculadas con el momento temporal, de modo que suponer que tal relación causal existió en el pasado o se mantendrá en el futuro, al ir más allá de lo expresamente descubierto, tiene una alta dosis de suposición no contrastada.

13. Validez externa. • Validez de constructo. • Explicación preoperacional inadecuada de los constructos. • Sesgo de operaciones únicas sesgo de métodos únicos. • Estimación de las hipótesis. • Temor a la evaluación. • Expectativas del investigador. • Confusión entre los constructos y niveles de los mismos. • Generalización restringida entre constructos.

14. Validez externa. • Validez de constructo. • Explicación preoperacional inadecuada de los constructos. esta amenaza puede estar presente cuando la elección de la definición operativa de una variable no se realiza a partir de un cuidadoso análisis conceptual de la misma, y por tanto no se adecua exactamente a la definición constitutiva (Kerlinger, 1975) del constructo. • Sesgo de operaciones únicas puesto que definir operativamente un constructo o variable puede ser inadecuado (no tener validez de contenido o ser incompleta, estar sesgada, ser incorrecta) siempre es preferible utilizar diversos procedimientos, lo que nos permitirá triangular los datos y captar mejor el significado de la variable. Esta es una amenaza derivada de no comprobar la convergencia a la que hacíamos referencia anteriormente. • Sesgo de métodos únicos. esta amenaza puede presentarse cuando, independientemente de que se operacionalice de una o varias formas, todas ellas utilizan un mismo procedimiento (sólo técnicas de lápiz y papel o sólo procedimientos para evaluar la reactividad fisiológica). En tales casos, el propio método puede conllevar un sesgo sistemático que nos impida aprehender adecuadamente el constructo que nos interesa.

15. Validez externa. • Validez de constructo. • Estimación de las hipótesis. : los sujetos que participan en una investigación con frecuencia pretenden adivinar qué es lo que el investigador pretende de ellos, y en un proceso que la psicología social ha denominado deseabilidad social, adaptarse a dichas expectativas, más que a responder directamente al tratamiento que, realmente, se le administra. • Temor a la evaluación. indica la propensión de los sujetos a cambiar su comportamiento cuando saben que están siendo evaluados u observados (es la aplicación blanda en las Ciencias Humanas del Principio de Incertidumbre de Heisenberg en la Física). • Expectativas del investigador. : también conocido con el nombre de efecto Rosenthal (por su descubridor), efecto Pigmalión o, en sentido inverso, efecto Golem (Cfr. Ball, 1997). Aunque su auténtico alcance ha sido puesto en duda, está relacionado con los sesgos que de modo más o menos insconsciente puede intentar auto-cumplir sus predicciones.

16. Validez externa. • Validez de constructo. • Confusión entre los constructos y niveles de los mismos. ocurre en aquellos casos en que un determinado constructo sólo se relaciona con otro cuando alcanza un determinado nivel, pero el investigador no es capaz de descubrirlo porque no llega a sobrepasar dicho umbral. Un ejemplo simplificado podría ser el de un presunto investigador que concluyese que la temperatura no afecta al estado físico del agua, porque lo ha modificado desde los 10o centígrados hasta los 90o sin obtener resultados. En el mismo sentido, puede haber problemas para generalizar los efectos de la utilización de un sistema de educación compensatoria (o la ausencia de los mismos) si éstos consistían exclusivamente en una hora semanal de apoyo, cuando hubiera sido necesaria una mayor intensidad del tratamiento para conseguir algún resultado apreciable. • Generalización restringida entre constructos. se refiere a los posibles efectos, no considerados en el diseño previo, que un tratamiento puede tener entras variables o constructos distintos a la variable dependiente.