Grandeurs et misères de la méta-analyse

1. Grandeurs et misères de la méta-analyse Jimmy Bourque, CRDE

2. Plan de la présentation • Synthétiser les résultats de recherche: 2 approches • Qu’est-ce que la méta-analyse statistique? • Rôles et objectifs de la méta-analyse • Rappel: signification statistique, taille d’effets et intervalles de confiance • Ampleur et précision • Effets fixes et effets aléatoires • Logiciels • Exemple • Limites et critiques

3. Synthèse de résultats: 2 approches 1. Recension narrative: suite à une recension d’écrits, le chercheur fait un résumé critique des conclusions. • La difficulté augmente avec le volume de résultats; • L’utilité diminue (résultats divergents ou contradictoires, devis variés, etc.); • Souvent, absence de critères de sélection et d’analyse explicites; • Subjectivité quant au poids attribué à chaque étude.

4. Synthèse de résultats: 2 approches 2. Recension systématique et méta-analyse: suite à une recension d’écrits basée sur des critères précis, le chercheur fait une synthèse statistique des conclusions. • Critères de recherche et d’analyse explicites; • Poids attribué selon des critères mathématiques constants; • Synthèse effectuée avec les mêmes outils que les études primaires.

5. Qu’est-ce que la méta-analyse? • La synthèse statistique des résultats d’une série d’études quantitatives. • Les études recensées porte sur le même sujet et répondent à la même question (pas nécessairement de la même façon); • Il est important de baser la méta-analyse sur des critères de sélection clairs et précis; • Il est important de choisir des études rigoureuses.

6. Rôles et objectifs • Objectif: synthèse cumulative des résultats de recherches quantitatives, visant la production de modèles et théories. • Compense pour la taille souvent restreinte des échantillons; • Considère un nombre important d’études; • Permet de résoudre les contradictions en proposant un résultat « global »; • Compense pour la validité externe réduite des études individuelles.

7. Signification statistique • Signification statistique: probabilité d’obtenir les résultats observés (ou des résultats plus extrêmes) si aucun effet n’est présent dans la population. • Très affectée par la taille de l’échantillon; • Hypothèse nulle généralement irréaliste; • Ne donne pas d’information sur l’ampleur de l’effet observé; • Pas comparable d’une étude à l’autre.

8. Taille de l’effet • Taille de l’effet: dans quelle mesure l’hypothèse nulle est fausse (magnitude d’une différence, force d’une relation entre variables, etc.). • Comparable d’une étude à l’autre; • Informe sur l’ampleur du phénomène observé; • Peu affectée par la taille de l’échantillon; • Peut être associée à une mesure de précision.

9. Intervalle de confiance • Intervalle de confiance: bornes inférieure et supérieure entre lesquelles nous avons (typiquement) 95% de probabilité de retrouver l’estimateur de la taille de l’effet suite à de multiples échantillonnages. • Tient compte de l’erreur-type; • Permet d’estimer la précision des estimateurs obtenus.

10. Ampleur et précision • La méta-analyse portera sur la taille de l’effet calculée pour chaque étude (ampleur); • Une taille d’effet sommaire sera calculée pour caractériser l’ensemble du corpus; • La précision de la taille de l’effet sera évaluée à partir d’un intervalle de confiance.

11. Effets fixes et effets aléatoires • Effet fixe: toutes les études mesurent le même effet; les fluctuations sont uniquement dues à l’erreur relative à chaque étude; l’effet sommaire est un estimateur de cet effet unique. • Effet aléatoire: les études n’étant pas équivalentes, la fluctuation des effets est due à l’erreur mais aussi aux différents contextes des études; l’effet sommaire est une moyenne des effets obtenus dans les divers contextes étudiés.

12. Exemple

13. Logiciels • Comprehensive Meta-Analysis www.Meta-Analysis.com  • MetaWin www.metawinsoft.com • RevMan www.cc-ims.net/RevMan

14. Limites et critiques • Importance de la dispersion des effets • Comparer des pommes et des oranges? • Attention à la qualité des études (garbage in, garbage out) • Impact des biais de publication

15. Références Bax, L., Yu, L.-M., Ikeda, N., & Moons, K. G. M. (2007). A systematiccomparison of software dedicated to meta-analysis of causal studies. BMC MedicalResearchMethodology, 7 (40), 1-9. Borenstein, M., Hedges, L., Higgins, J., & Rothstein, H. (2009). Introduction to Meta-Analysis. Mississauga, ON: Wiley. Durlak, J. A. (1997). Understanding Meta-Analysis. In L. G. Grimm & P. R. Yarnold (eds), Reading and UnderstandingMultivariateStatistics(pp. 319-352). Washington, DC: American Psychological Association. Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis. CorrectingError and Bias in ResearchFindings (2nded.). ThousandOaks, CA: Sage.