META-ANALISIS

1. META-ANALISIS • Introducción • Cálculo del tamaño del efecto • Fuente de datos y Tamaños de efecto. • Medias ± SE: Hedges´d; ln Response Ratio • Tablas de Contingencia: Odds Ratio; Rate Difference; Relative Rate • Correlación; Fisher´s Z-transform • Combinación de resultados • Tamaño del efecto acumulado • Fuentes de Heterogeneidad • Predictores • Efectos Fijos y Efectos Aleatorios • Modelo Lineal General • Evaluación del sesgo de publicación • Métodos gráficos • Métodos estadísticos • Meta-análisis con Metawin y macros GLM para SPSS

2. INTRODUCCIÓN META-ANÁLISIS SENSU LATO • Método cuantitativo de sintetizar, resumir o revisar sistemáticamente una serie de resultados de estudios empíricos • Los estudios deben: • Ser empíricos, no teóricos • Producir resultados cuantitativos, en vez de cualitativos • Examinar las mismas cuestiones teóricas • Ser suceptibles de ser configurados en formas estadísticas comparables (e.g., correlaciones, proporciones, tamaños de efectos, etc.

3. INTRODUCCIÓN TIPOS DE REVISIONES BIBLIOGRÁFICAS CUANTITATIVAS Conteo de votos (Vote-counting) 1- Se observan los resultados estadísticos de un conjunto de trabajos. 2- Los resultados se asignan a tres categorías: significativos en la dirección esperada, significativos en la dirección no esperada, y no significativos. 3- Se determina la proporción de resultados de cada categoría. 4- La hipótesis es evaluada en base a esa proporción. 5-Si sólo hay dos categorías se puede emplear una prueba de signos (distribución binomial) Inconvenientes Conservadores Poca potencia estadística No ofrece información sobre la magnitud del efecto Ventajas Simplicidad

4. INTRODUCCIÓN MÉTODOS DE PROBABILIDAD COMBINADA 1- Estos métodos combinan resultados estadísticos de un conjunto de estudios basados en valores exactos de probabilidad. 2- Por este motivo, tienen en cuenta los tamaños de muestra de los diferentes trabajos 3- Hay al menos 18 metodos que usan diferentes distribuciones estadísticas (uniforme, normal, t de Student, chi cuadrado, logística). Método del mínimo valor de p Hay efecto significativo si al menos un estudio tiene un nivel de significación menor que el nivel a crítico [a*=0.05]

5. INTRODUCCIÓN Test de probabilidad combinada de Fisher (Fisher 1932) 1- Sean n estudios con valores de significación individuales pi. 2- Se genera un estadístico que se ajusta a una chi cuadrado de 2n grados de libertad, usando la siguiente fórmula: 3- c2F es comprobada frente a dicha distribución de chi cuadrado para ver si hay un efecto significativo de los datos Inconveniente Es muy sensible a valores de pi bajos (asimetría) Fisher, R.A. 1932. Statistical methods for research workers, 4th ed. Oliver and Boyd. Londres

6. INTRODUCCIÓN Método de transformación Z (Método de Stouffer) (Stouffer et al. 1949) 1- Sean k estudios, cada uno con un valor Zi de Z-score para los valores individuales de significación [Z-score se halla a partir de una distribución normal x=0, SD=1, y corresponde a los valores correspondientes a una probabilidad dada]. 2- Se genera un estadístico que se ajusta a una normal, usando la siguiente fórmula: 3- La significación del valor de ZS es comprobada frente a una distribución normal. Stouffer, S.A. et. al. 1949. The American soldier: Vol 1. Adjustment during army life. Princeton University Press, Princeton.

7. INTRODUCCIÓN Método de transformación Z ponderado (Mosteller y Bush 1954) 1- Es un método que generaliza el anterior para dar diferente peso wi a cada estudio dependiendo de su potencia. 2- Se genera de nuevo un estadístico que se ajusta a una normal, usando la siguiente fórmula: 3- wi se halla como el recíproco del error estándar cuadrático del tamaño del efecto. 4- Así, se tiene en cuenta los grados de libertad específicos de cada estudio. Usar Zs o Zw es un poco cuestión de gusto, ya que los valores de la p están ya ponderados por el tamaño muestral. Si la hipótesis nula es globalmente cierta, entonces todos los valores de la p deberían estar uniformemente distribuidos entre 0 y 1 independientemente del tamaño muestral. Mosteller, F. Y R.R. Bush 1954. Selected quantitative techniques. En G. Lindsey (ed). Handbook of social psychology: Vol 1. Theory and method (pp 289-334). Addison-Wesley, Cambridge

8. INTRODUCCIÓN

9. INTRODUCCIÓN META-ANALISIS MODERNO (Smith and Glass 1977) 1- Combina las medidas de los efectos de estudios individuales dentro de una estima de efecto general, y usa esta estima para determinar la significación 2- Un resultado significativo implica que hay soporte estadístico para la hipótesis que es testada. 3- Esta determinación se hace calculando un tamaño de efecto general y determinando si este efecto es mayor que el esperado por azar. 4- La realización de un meta-análisis implica dos fases: a. Hay que calcular el tamaño del efecto y su varianza para cada estudio. b- Hay que combinar esos efectos en un modelo sintético estadístico 5- Opcionalmente, podemos comprobar la heterogeneidad entre estudios, para ver si provienen de más de una población estadística. Smith, M.L. y G.V. Glass 1977. Meta-analysis of psychotherapy outcome studies. American Psychologist 32: 752-760.

10. INTRODUCCIÓN Claroscuros (Lipsey y Wilson 2000) Ventajas 1- Impone una disciplina útil en el proceso de sintetizar información científica 2- Representa una forma más sofisticada de revisar los descubrimientos científicos que las metodologías anteriores 3- Es capaz de encontrar relaciones que permanecen oscuras 4- Representa una forma organizada de manipular información proveniente de un gran número de estudios independientes Inconvenientes 1- Su dificultad debido a lo complicado de la base conceptual y la metodología estadística empleada 2- La mezcla de estudios de diferente naturaleza 3- La mezcla de estudios de diferente calidad metodológica Lipsey, M.W. y D. B. Wilson 2000. Practical meta-analysis. Sage, Londres

11. CÁLCULO DEL TAMAÑO DEL EFECTO DEFINICION 1- Tamaño del efecto es un concepto crucial en el meta-análisis moderno 2- Tamaño del efecto se puede definir como cualquier medida estadística que evidencia el grado con el que un evento dado esta presente en una muestra (Cohen 1969). El tipo de medida se llama efecto, y su magnitud es el tamaño del efecto. 3- Diferentes medidas de tamaños de efecto se calculan a partir de diferentes tipos de datos originales Cohen, J. 1969. Statistical Power Analysis for the behavioural sciences. Academic Press, Nueva York

12. CÁLCULO DEL TAMAÑO DEL EFECTO FUENTE DE DATOS 1- Diferentes medidas de tamaños de efecto se calculan a partir de diferentes tipos de datos originales 2- En general, los datos originales caen en una de las tres siguientes categorías: - Medias, tamaños de muestras y desviaciones estándares de los grupos control y experimental. - Tablas de contigencias 2x2 que representan las 4 posibles soluciones categoricas experimentales. - Coeficientes de correlación.

13. CÁLCULO DEL TAMAÑO DEL EFECTO TAMAÑOS DE EFECTO BASADOS MEDIAS Y DESVIACIONES ESTANDARES Tamaño de efecto de Glass (Glass 1976) 1- Sean XC y XE la media de un efecto de distribución continua en el grupo control y el grupo experimental. 2- Sean sC y sE las desviaciones estándares de cada grupo y NC y NE los tamaños de muestra. 3- El tamaño del efecto y su varianza se calculan como: 4- Inconveniente: Sólo la varianza del grupo control se usa para estandarizar la diferencia entre medias Glass, G.V 1976. Primary, secondary, and meta-analysis of research. Educational Researcher 5: 3-8

14. CÁLCULO DEL TAMAÑO DEL EFECTO d de Hegde (Hedge 1981) 1- Sean XC y XE la media de un efecto de distribución continua en el grupo control y el grupo experimental. 2- Sean sC y sE las desviaciones estándares de cada grupo y NC y NE los tamaños de muestra. 3- El tamaño del efecto y su varianza se calculan como: donde Hedge, L.V 1981. Distribution theory for Glass’s estimator of effect size and related estimator. J. ofEducational Statistics 6: 107-128.

15. CÁLCULO DEL TAMAÑO DEL EFECTO d de Cohen (Cohen 1969) 1- Sean XC y XE la media de un efecto de distribución continua en el grupo control y el grupo experimental. 2- Sean sC y sE las desviaciones estándares de cada grupo y NC y NE los tamaños de muestra. 3- El tamaño del efecto y su varianza se calculan como: donde 4- Ventajas: No afectado por varianzas muestrales distintas 5- Inconveniente: Sesgado por tamaños muestrales pequeños Cohen, J. 1969. Statistical Power Analysis for the behavioural sciences. Academic Press, Nueva York

16. CÁLCULO DEL TAMAÑO DEL EFECTO Response Ratio (Hedges et al. 1999) 1- Sean XC y XE la media de un efecto de distribución continua en el grupo control y el grupo experimental. 2- Sean sC y sE las desviaciones estándares de cada grupo y NC y NE los tamaños de muestra. 3- El tamaño del efecto y su varianza se calculan como: Hedges, L.V., J. Gurevitch y P.S. Curtis 1999. The meta-analysis of response ratios in experimental ecology. Ecology 80:1150-1156

17. CÁLCULO DEL TAMAÑO DEL EFECTO TABLAS DE CONTINGENCIA 2 X 2 1- La variable respuesta es dicotómica y tiene distribución binomial, por lo que puede ser representada en la siguiente tabla: 2- Se calcula la tasa de respuesta de ambos grupos, Pe y Pc, como A/ne y B/nc, respectivamente.

18. CÁLCULO DEL TAMAÑO DEL EFECTO Risk difference RD (Normand 1999) 1- El tamaño del efecto y su varianza se calculan como: 2- No diferencia entre grupos genera RD=0 Inconveniente: El rango de variación de RD está fuertemente limitado por las magitudes de Pe y Pc. Los valores potenciales de RD aumentan cuando ambas tasas son cercanas a 0 y 1. Esto genera aparente e irreal heterogeneidad entre estudios Normand, S-L. T. 1999. Meta-analysis: formulating, evaluating, combining, and reporting. Statistics in medicine 18: 321-359

19. CÁLCULO DEL TAMAÑO DEL EFECTO Relative rate RR (Normand 1999) 1- El tamaño del efecto y su varianza se calculan como: 2- No diferencia entre grupos genera RR=1, y varía entre 0 e infinito (ln RR=0) Normand, S-L. T. 1999. Meta-analysis: formulating, evaluating, combining, and reporting. Statistics in medicine 18: 321-359

20. CÁLCULO DEL TAMAÑO DEL EFECTO Odd Ratio OR (Sokal y Rohlf 1995) 1- Odds de un evento es la probabilidad de que ocurra el evento dividido por la probabilidad de que no ocurra 2- El tamaño del efecto y su varianza se calculan como: 2- No diferencia entre grupos genera OR =1. Como OR es un razón, la estadística se ofrece usualmente como ln OR. Sokal, R. R., and F. J. Rohlf. 1995. Biometry. (3rd edition). Freeman, San Francisco.

21. CÁLCULO DEL TAMAÑO DEL EFECTO CORRELACIONES 1-A veces los datos originales están en diferentes fuentes (F, t, c2,....) 2- Es útil transformar todo estos estadísticos en correlaciones de Pearson y calcular el tamaño del efecto a partir de ellas. 3- Estas transformaciones se pueden hacer con una Meta-calculadora. Las transformaciones más frecuentes son: Datos en forma de probabilidades

22. CÁLCULO DEL TAMAÑO DEL EFECTO Transformación de z de Fisher (Fisher 1928) 1- Con las correlaciones, podemos calcular el tamaño del efecto mediante la fórmula: siendo n el tamaño muestral 2- z oscila entre – infinito y + infinito, con z=0 indicando ausencia de efecto. Ventajas Puede incluir estudios tomados de forma diferente, por lo que puede aumentar la cantidad de estudios meta-analizados. Inconvenientes 1-Está sesgado ligeramente cuando el tamaño muestral es bajo. 2-Hay que tener cuidado con no incluir estudios demasiado heterogéneos Fisher, R.A. 1928. Statistical methods for research workers (2nd edition) Oliver and Boyd, Londres.

23. CÁLCULO DEL TAMAÑO DEL EFECTO RECOMENDACIONES PARA PRESENTACION DATOS 1- Presentar todos los valores de probabilidad exactos 2- Cuando sea posible, presentar medias, desviaciones estándares y tamaño muestral de cada grupo experimental usado en el diseño y del grupo control. 3- Ejemplo de requisitos impuestos por la J. Evol. Biol: Please make sure any in-line statistics conform to the Instructions for authors: "In-line statistical results should be presented as Test-statistics: degrees of freedom as subscript(s) to test-statistics (e.g. F1,12 = ... or t8 = ...), followed by P-value., e.g. (F1,12 = 4.9, P < 0.05). Statistical results in tables should be comprehensive, allowing future meta-analyses. Depending on the details of the analyses, results reported may include parameter estimates, test-statistics, degrees of freedom, significance levels and err/residual model information (e.g. error MS's and df's in ANOVA or regression models). Since exact P-values can be useful for meta-analyses, we recommend that these are quoted even when non-significant, e.g. t23=0.25, P=0.34, or F2,32=1.12, P=0.55. However, non significant tests (i.e. P > 0.05) should always be interpreted as such. " (see Instructions for Authors, JEB inside back cover, or http://www.blackwellpublishing.com/journals/jeb/submiss.htm )

24. CÁLCULO DEL TAMAÑO DEL EFECTO

25. COMBINACION DE RESULTADOS TAMAÑO DEL EFECTO ACUMULADO 1- Tamaño del efecto acumulado es un estimador que sintetiza el efecto global de los tratamientos que estamos meta-analizando. 2- Se calcula según la siguiente fórmula: donde wi es la inversa de la varianza del estudio i(1/vi) Ventajas 3- Es una media ponderada. De esta forma, se tiene en cuenta la diferencia en tamaño muestral y potencia de cada estudio individual

26. COMBINACION DE RESULTADOS Significación del efecto acumulado 1- Se pueda calcular el intervalo de confianza del efecto acumulado usando la fórmula: Donde t es el valor crítico a partir de un distribución de la t de Student para el nivel a. 2- Una vez hallado el CI, podemos evaluar estadísticamente el efecto global de nuestro conjunto de estudios. Suponemos un efecto acumulado significativo cuando CI no cruza el cero. Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.

27. COMBINACION DE RESULTADOS Heterogeneidad total (Hedge y Olkin 1985) 1- La heterogeneidad total QT nos indica si los tamaños de efecto son homogéneos: 2- Para ver si QT es significativa, se contrasta frente a una c2 con n-1 grados de libertad. [La hipótesis nula es que todos los tamaño de efecto son iguales. Una Qt significativa indica que la varianza entre tamaños de efecto es mayor que la esperada por azar]. 3- QT es un suma de cuadrados ponderada, por lo que es comparable a la SS total de un ANOVA. Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.

28. COMBINACION DE RESULTADOS FUENTES DE HETEROGENEIDAD 1-Cuando QT es significativo, podemos pensar que es debido a que existe una estructura subyacente en los datos. 2- La estructura puede aparecer porque existan variables que afecten a los resultados. Estas variables pueden ser categóricas o contínuas. 3- Podemos incorporar estas variables dentro de nuestros modelos meta-analíticos como predictores. Dependiendo de la naturaleza de estos predictores, tendremos un tipo u otro de modelo meta-analítico

29. COMBINACION DE RESULTADOS PREDICTORES CATEGÓRICOS 1-Los predictores son categóricos cuando los estudios se pueden segregar in más de un grupo. 2- En este caso, se calcula el tamaño de efecto acumulado para cada grupo, Ej, y su varianza según la fórmula: Donde kj es el número de estudios in el grupo j, wij y Eij son las ponderaciones y los tamaños de efecto del estudio i en el grupo j. 3- El intervalo de confianza se calcula como: 4- Ejes significativo cuando el intervalo de confianza no cruza el cero.

30. COMBINACION DE RESULTADOS Heterogeneidad dentro y entre grupo (Hedge y Olkin 1985) 1-Podemos ver si dentro de cada grupo existe heterogenidad significativa a su vez. La heterogeneidad dentro de grupoQWj se calcula como: 2- Se comprueba frente a un c2 con kj-1 grados de libertad. Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.

31. COMBINACION DE RESULTADOS Heterogeneidad dentro y entre grupo (2) 1- Podemos además comprobar si la los grupos difieren entre ellos en tamaño de efectos. Para ellos, se descompone la heterogeneidad total QT en heterogeneidad o variación en tamaños del efecto debida al modelo QM y heterogeneidad debida al error QE QT=QM+QE 2- Para datos categóricos QM describe la diferencia entre grupos en los tamaños de efectos acumulados y se calcula como: m =número de grupos, kj = numero de estudios en el grupo j wij= es el peso del estudio i en el grupo j Ej = tamaño de efecto acumulado para el grupo j E= tamaño de efecto acumulado global

32. COMBINACION DE RESULTADOS Heterogeneidad dentro y entre grupo (3) 3- La heterogeneidad del error residual se calcula como m =número de grupos, kj = numero de estudios en el grupo j wij= es el peso del estudio i en el grupo j Eij = tamaño de efecto del estudio i en el grupo j Ej= tamaño de efecto del grupo j 4- Tanto QM como QEpueden ser testadas frente a una c2 con m-1 grados de libertad para QM y n-m grados de libertad para QE. 5- QM significativo significa que hay diferencia en el tamaño del efecto para los grupos, mientras que QE significativo implica que aún hay heterogeneidad no explicada por el modelo.

33. COMBINACION DE RESULTADOS PREDICTORES CONTINUOS (Greenland 1987) 1- A veces el tamaño de los efectos de estudios individuales puede explicarse por una variable independiente. En este caso se utiliza un modelo meta-analítico contínuo. 2- Se requieren 3 variables de cada estudio: el tamañño del efecto Ei, el peso wi y el valor de la variable independiente Xi. 3- La relación entre Ei y Xi se determina mediante una regresión ponderada: Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30

34. COMBINACION DE RESULTADOS 1- La pendiente b1 y el intercepto b0 se hallan como: 2- Sin embargo, sus errores estándares no pueden calcularse mediante el procedimiento de mínimos cuadrados. Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30

35. 5- Hallamos QM como y QE como QT –QM. COMBINACION DE RESULTADOS 3- Los errores estándares de la pendiente b1 y el intercepto b0 se hallan como: 4- Se divide la pendiente y el intercepto por sus errores estándares, y hallamos el Z-score. Este valor se compara a una distribución normal para ver si son significativa [si la variable independiente explica significativamente la variación en tamaños de efectos].

36. COMBINACION DE RESULTADOS 6- QM se comprueba con una c2 de 1 grado de libertad y su nivel de significación será idéntico al nivel de significación de b1. 7- QM significativo significa que Xi explica una porción significativa de la variación en tamaños del efecto. 8- QE se comprueba frente a una c2 con n-2 grados de libertad, y si sale significativo implica que hay aún heterogeneidad no explicada por el modelo

37. COMBINACION DE RESULTADOS EFECTOS FIJOS Y ALEATORIOS (Gurevitch and Hedge 1999) 1- Todos los modelos visto hasta ahora son modelos de efectos fijos, es decir, modelos que asumen que hay un tamaño de efecto real compartido por todos los estudios o por cada grupo de estudios. 2- Modelos de efectos fijos calcula los estadísticos basados en el presupuesto de que la única variación en tamaño del efecto al error del muestreo 3- Sin embargo, existe un segundo tipo de modelos denominados modelos de efectos aleatorios que asumen que existe además un componente de variación aletario en los tamaño de efectos entre estudios. 4- En los modelos con efecto aletarios, este componente aleatorio de variación se calcula y se introduce en los estadísticos Gurevitch, J. y L.V. Hedges, 1999. Statistical isues in ecological meta-analysis.Ecology 80:1142-1149.

38. COMBINACION DE RESULTADOS Construyendo modelos de efectos aleatorios (1) 1- Un modelo de efectos aletarios se construye en tres fases 1.1 Se realiza un modelo de efectos fijos para determinar el valor de los estadísticos. 1.2. Se calcula entonces una varianza entre estudios dpooled. Este estadístico se usa para recalcular el peso de cada estudio en modelos aleatorios wi(rand). 1.3 Finalmente esos nuevos pesos se incluyen en un modelos de efectos aleatorios en las mismas ecuaciones descritas antes para calcular los estadísticos meta-analíticos. 2- En todos los casos, el peso en un modelo de efectos aleatorios se calcula como:

39. COMBINACION DE RESULTADOS Construyendo modelos de efectos aleatorios (2) 1- La varianza entre estudios se calcula usando la siguiente fórmula cuando no hay estructura 2- El numerador es la varianza no explicadas en tamaños de efecto menos el número de grados de libertad. El denominador es una función sumatoria de los pesos.

40. COMBINACION DE RESULTADOS Construyendo modelos de efectos aleatorios (3) 1- Cuando hay estructura subyacente en los datos, y los predictores son categóricos, la varianza se calcula como: 2- El numerador es de nuevo la varianza no explicadas en tamaños de efecto menos el número de grados de libertad. El denominador es una función sumatoria de los pesos. 3- Este modelo se denomina a veces modelo de efectos mixtos porque incluye variación aleatoria entre estudios dentro de un grupo y diferencias fija entre grupos

41. COMBINACION DE RESULTADOS Construyendo modelos de efectos aleatorios (4) 1- Cuando hay estructura subyacente en los datos, y los predictores son continuos, la varianza se calcula como: 2- El numerador es de nuevo la varianza no explicadas en tamaños de efecto menos el número de grados de libertad. El denominador es una función sumatoria de los pesos.

42. COMBINACION DE RESULTADOS MODELO LINEAL GENERAL 1- Los modelos meta-analíticos se pueden complejizar introduciendo más variables tanto de naturaleza contínua como categórica. 2- Estos modelos pueden ser resueltos mediante modelos lineales generales ponderados (GLM). 3- GLM usa álgebra matricial para determinar la relación entre un conjunto de variables dependientes e independientes. 4- Sea E el vector de dimensión 1 x n de variables dependientes o tamaños de efecto:

43. COMBINACION DE RESULTADOS MODELO LINEAL GENERAL (2) 5- Sea X la matriz de dimensión p x n de variables dependientes: donde la primera columna es la única columna incluida para un meta-análisis no estructurado, y las demás columnas son añadidas cuando existe estructura 6- Según GLM, la relación entre variables dependientes e independientes se halla según la ecuación: donde b es un vector de coeficientes (0 a p) y e es el error del modelo E=Xb+e 7- Para trabajar con meta-análisis, debemos saber que los tamaño de efecto varían en precisión alrededor del tamaño de efecto acumulado verdadero, por lo que se necesita una estima ponderada de b: donde W es una matriz diagonal con los pesos de los estudios individuales b=(XtWX) -1 XtWE

44. COMBINACION DE RESULTADOS MODELO LINEAL GENERAL (3) 8- Resolviendo el GLM: Ei= b0 + b1X1i +b2X2i +...+ bpXpi+ei 9- La varianza de los coeficientes b se hallan como: 10- Usando GLMs se pueden también hallar la heterogeneidad explicada por el modelo QM, la heterogeneidad residual QE y por ende la heterogeneidad total QT (fórmulas no mostradas):

45. EVALUACION DEL SESGO DE PUBLICACION 1- Un problema cuando se efectúan meta-análisis es la existencia de sesgo en las publicaciones: la publicación selectiva de artículos mostrando cierto tipo de resultados sobre otros (Begg y Berlin 1988). 2-Esto ocurre por: a) la tendencia de las revistas de rechazar resultados no significativos b) la tendencia de los propios autores de no enviar resultados no significativo. Este comportamiento conlleva un déficit de resultados nulos (file-drawer problem), y una sobreestimación de resultados significativos (inferencia anticonservadora). 3- Hay varias formas de evaluar la existencia de sesgo de publicación Begg, C.B. y J.A. Berlin 1988. Publication bias: a problem in interpreting medical data. Journal of the Royal Statistical Society, Seria A 151:419-463

46. EVALUACION DEL SESGO DE PUBLICACION METODOS GRÁFICOS Histogramas ponderados (Greenland 1987) 1- Un forma simple de evaluación es mediante histogramas ponderados, en los cuales la altura de las barras de cada clase se construye mediante los pesos combinados de los estudios en vez de las frecuencias. 2- Los métodos meta-analíticos asumen normalidad. Así, un histograma ayuda a identificar outliers. 3- Histogramas bimodales o multimodales indican modelos estructurados según variables categóricas. 4- Si hay sesgo de publicación, con ausencia de estudios con nulo o poco efecto, el histograma mostrará huecos. Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30

47. Tamaño de efecto Tamaño muestral EVALUACION DEL SESGO DE PUBLICACION Gráfico de embudo (Funnel Plot) 1- Otra forma simple de evaluación es mediante Funnel Plots, un gráfico que enfrenta los tamaños de efectos vs. el tamaño muestral. 2- Si no hay sesgo debe cumplirse: -Estudios con tamaño muestral bajo deben tener error de muestreo alto, y por lo tanto la variación alrededor del tamaño de efecto debe disminuir cuando aumento el tamaño muestral -El tamaño de efecto acumulado debe ser independiente del tamaño muestral -Para un tamaño muestral dado, los estudios deben estar distribuidos según una normal de media el tamaño de error acumulado 3- Si estas tres prediciones se cumplen, debemos obtener un gráfico en forma de embudo

48. EVALUACION DEL SESGO DE PUBLICACION Gráfico de cuantiles normales (Wang y Bushman 1988) 1- Es un tipo especial del gráfico cuantil-cuantil, donde se enfrentan los cuantiles de nuestra distribución (el tamaño de efecto estandarizado) con una distribución normal. Si son iguales, los puntos deben caer en la recta X=Y. 2- Este método tiene la ventaja de que es más fácil de interpretar, y además comprueba el presupuesto de normalidad básico a todo estudio meta-analítico 3- La pendiente de la regresión lineal indica la desviación estandar de los datos (debería ser 1) y la intersección con el eje y indica la media 4- Sesgos de publicación provoca huecos extraños o no linealidad extrema. Wang, M.C. y B.J. Bushman 1998. Using the normal quantile plot to explore meta-analytic data sets. Psychological Methods 3: 46-54

49. EVALUACION DEL SESGO DE PUBLICACION METODOS ESTADISTICOS Prueba de correlación de rangos (Begg 1994) 1- Se correlaciona el tamaño de efecto estandarizado, E* , y el tamaño muestral, n. Es un análogo estadístico del gráfico del embudo. donde 2- Como pruebas de correlación se utiliza una correlación de rango simple, la tau de Kendall o la rho de Spearman. 3- Correlación significativa= Sesgos de publicación. 4- Este método aumenta su potencia para detectar sesgos a medida que aumenta el número de estudios incluídos en el meta-análisis. Begg C.B. 1994. Publication bias. En H. Cooper y L.V. Hedge (eds) The Handbook of research synthesis (pp 399-409). Russell Sage Fundation, New York

50. EVALUACION DEL SESGO DE PUBLICACION Fail-safe Number (Rosenthal 1979) 1- Este método calcula el número adicional de estudios con tamaño de efecto cero que se tiene que añadir para cambiar los resultafos de significativo a no significativo. 2- Se puede calcular según varios métodos. El clásico es calcular NR propuesto por Rosenthal como: n = número de estudios Z(pi) = los Z-scores de los valores individuales significativos Za= Z-score de una cola asociado al nivele de significación deseado 3-Orwin propone un método alternativo n = número de estudios Eo = tamaño de efecto medio de los estudios originales En= tamaño de efecto mediode los estudios adicionales Em= tamaño de efecto mínimo deseado (usualmente 0.2). Rosenthal. R. 1979. The “file drawer problem” and tolerance for null results. Psychological Bulletin 86: 638-641