Analyses en sous groupes

1. Analyses en sous groupes Patricia Samb P Samb

2. Introduction • Fréquemment réalisées en complément de l’analyse principale • Intérêt dans la recherche de facteurs modifiant l’effet du traitement • Nombreuses mises en garde • Multiplication des analyses statistiques • Augmentation du risque de trouver un résultat faussement positif P Samb

3. Multiplicité des tests - problématique • proba d’obtenir 1 test significatif uniquement par hasard • risque alpha – risque de 1ère espèce conclure à tort à l’efficacité du traitement (avec 5 critères indépendants, proba de touver au – 1 diff significative à tort est de 23%) P Samb

4. Multiplicité des tests - problématique Contrôle de l’inflation du risque alpha • Méthode de Bonferoni: 0.05/k où k est le nb de comparaisonseffectuées • Méthode de Dunn-Sidak: α’=1-(1- α)1/k P Samb

5. Définition et but • Recherche de l’effet du traitement dans une sous-population des patients d’1 essai • En fonction de différentes variables : âge, sexe, stade de la maladie … • objectif différent suivant le résultat de l’essai • résultat concluant (basé sur une diff stat significative) • résultat non concluant (absence de diff stat significative) P Samb

6. Analyses dans essai non concluant • Recherche du(des) sous-groupe(s) dans lesquels existerait 1 effet du traitement stat significatif • Effet du traitement seulement sur 1 certain type de patients? • Se heurtent à plusieurs difficultés méthodologiques (répétition des tests stat, inflation du risque alpha et perte de puissance) => pas de conclusions sûres Tableau 1 – Dans cet essai non concluant les analyses en sous-groupes semblent suggérer que bien qu’il ne soit pas possible de mettre en évidence un effet tout patient confondu, le traitement serait efficace chez les sujets diabétiques. En fait cette observation ne peut pas être considérée comme une preuve mais seulement comme une nouvelle hypothèse à tester dans un nouvel essai. P Samb

7. Analyses dans essai concluant • Recherche des groupes dans lesquels le traitement serait plus efficace et surtout ceux pour lesquels il serait inefficace • Difficultés méthodologiques • Puissance de la comparaison pas assurée => absence de diff significative ne signifie pas absence d’effet • Risque d’erreur de 2ème espèce, erreur béta • Ex : P Samb

8. Méthodes utilisées pour analyses • Tests spécifiques par sous groupes • Répétition des tests faits sur ensemble des patients • Tests d’interaction ou d’hétérogénéité • effet du traitement comparable dans différents sous-groupes ? • la variable de sous-groupe intégrée dans le test réalisé • Modèle multivarié : • => intégration 3 paramètres: effet traitement, effet pronostique de la variable de sous-groupe, et l’interaction des 2. • modèle de Cox (survie), le modèle logistique (réponse au traitement) ou l’analyse de variance (critère quantitatif tel qu’un score de qualité de vie). P Samb

9. Risques d’erreurs liés à ces méthodes • Simulation sous R des données de 10 000 essais thérapeutiques de 200 patients (100 dans chaque groupe) avec 1 effet thérapeutiques « delta » fixé à l’avance • Ces résultats doivent inciter à la plus grande prudence • Erreurs d’interprétation • Tests d’interaction semblent plus stables mais attention à la multiplication des tests P Samb

10. Essai non significatif globalement • Aucun effet significatif dans 8 analyses en sous groupes • 3ème et 4ème analyse en sous groupe -> effet non significatif en sens inverse dans 1 sous-groupe et significatif dans l’autre! Essai globalement significatif (p=0.01) • Effet significatif dans 1 sous groupe et pas dans l’autre pour 8 analyses en sous groupes • Pour les 2 autres, effet non significatif pour les 2 sous groupes Qu’aurions-nous conclu s’il s’agissait d’essais réels? P Samb

11. Conclusion de l’article ! L’intervention a des conséquences sur la mortalité chez • les femmes: p=0.064 (intervention vs contrôle). • test d’interaction => perspective plus modérée. • 22 vs 12 chez femmes (OR=2) • hommes : 11 vs 11 (OR=1) • test d’interaction comparant ces OR est p=0.21. • ne suggère pas qu’il y ait un effet de l’intervention sur la mortalité cardiaque lorsqu’il est associé au sexe. P Samb

12. Recommandations • Nombreuses recommandations dans la littérature • L’EMEA (European Agency for the Evaluation of Medicinal Products) -> conditions pour conclusions fiables • CONSORT statement (recommandations d’experts pour la qualité des articles rapportant des essais thérapeutiques) • Choix de la méthode stat • + nombreux critères identifiés par de plusieurs auteurs P Samb

13. P Samb

14. Analyses en sous groupe dans littérature Pocock et all 50 essais dans 4 journaux : - BMJ (N=5) - JAMA (N=6) - NEJM (N=24) - Lancet (N=15) De juillet à sept 2007 P Samb

15. Conclusion Pour la recherche … • Considérer les IC plutôt que p-values • Approches appliquées dans 1 autre contexte : études observationnelles et Méta-analyse • Autres méthodes stat : • Incorporer effets cluster • Autres approches : boostrap, meth bayésiennes P Samb

16. Biblio • Subgroup analysis, covariate adjustement and baseline comarisons in clinical trial reporting : current practice and problems Pocock SJ, Assmann SE and all Statistics in medicine (2002), 21:2917-2930 • Interaction effects and subgroup analyses in clinical trials : more than meets the eye? Sevdalis N SJ, Jacklin R Journal of Evaluation in Clinical Pratice (2008), ISSN 1356-1294 • Subgroup analyses in randomised controlled trials: quantifying the risks of false-positives and false-negatives. Brookes ST, Whitley E, Peters TJ, et al. (2001) Health Technol Assess 5: 1-56 • Interprétation des essais cliniques pour la pratique médicale Michel Cucherat P Samb