L’Evidence based medicine les atouts, les limites en réanimation

1. L’Evidence based medicine les atouts, les limites en réanimation  Jean-François TIMSIT Réanimation médicale CHU Grenoble INSERM U823

2. Définition Pertinence • L'Evidence-Based Medicine se définit comme l'utilisation consciencieuse et judicieuse des meilleures données actuelles de la recherche clinique dans la prise en charge personnalisée de chaque patient . Expérience Préférence Sackett DL, et al. BMJ 1996 ; 312 : 71-72.

3. Patient or problem • Intervention, test of exposure • Comparison interventions • Outcomes

4. Meta-analysis of original data Systematic revue of RCTs RCT Cohort Case-control Analyses using computer databases Series with literature control Cases series case reports Expert opinion Animal research / in vitro studies Evidence pyramid Olkin – J Clin Epidemiol; 48:133 1995

5. Intérêt de la randomisation… Prise en compte des facteurs de confusion connus ET inconnus dans l’estimation de la relation entre un facteur X et un résultat Y

6. Allocation aveugle et aléatoire Est ce que les investigateurs ont les moyens de savoir (ou de prédire) dans quel groupe sera le prochain sujet?

7. Tirage au sort aveugle aléatoire « Trials with unconcealed allocation consistently overestimate benefit by ~40% » Schulz KF et al. Lancet 2002;359:614-18. Altman DG et al – BMJ 2001; 323;446-447

8. EBM .. POUR • amélioration des connaissances, • Des habiletés à la recherche biblio, • support à l’enseignement, • permet aux juniors de participer à la décision, • permet une meilleure communication avec les patients et une meilleure utilisation des ressources Permet d’identifier le meilleur traitement et de faire le meilleur choix en connaissance de cause Kerridge I & Henry D – BMJ 1998; 1151

9. Questionnaire étalonné et validé explorant les connaissances et les habiletés (15 scénarios cliniques) • 203 participants (61% réponses) à 3 jours de formation • Amélioration très nette du score restant < aux experts

10. Obstacles à l’EBM • Accès à l’information? • Manque de moyens • Manque de formation spécialisée • Interprétation incorrecte • Refus du résultat • Volonté de ne pas concevoir des procédures • Coût Villar J – ICM 2005; 31:196

11. Isaacs D and Fitzgerald D - BMJ 1999;319:1618 Alternatives à l’EBM

12. Tout article scientifique est biaisé par 4 (5) acteurs • Auteur • Etre publié (accepte tous les compromis sur le message) • Rédacteur • Innovation, équilibre thématique, plaire au propriétaire (biais de publication) • Expert • Subjectivité prouvée, affectivité • Propriétaire • Liens avec des sociétés savantes, avec des industriels • Lecteur • Ne lit que la version finale, a le droit de ne pas lire, de ne pas accepter Maisonneuve H - EBM J 1996

13. RCT et impact socio-économique • Poids de l’argent et de l’ambition • Poids économique vital pour l’industrie • Mise sur le marché 500 millions de $ Études négatives non publiées • Compétitions entre les CRO et les structures indépendantes (academiques)  le moins cher et le plus conciliant gagne…. « the use of clinical trials primarily for marketing makes a mockery of clinical investigation » • Poids économique majeur sur la vie d’un journal • Impact factor, publicité, suppléments, actionnariat…. Dreyfuss D – ICM 2005; 31:345

14. Source de financement et bénéfice Lexchin J – BMJ 2003; 326:1167 OR=4.05

15. Institutional Academic−IndustryRelationships National survey, 2006, 125 allopathic medical schools 459 of 688 department chairs completed the survey (67%) 60% of department chairshad personal relationship with industry Consultant(27%) Member of a scientific advisory board (27%) Paid speaker (14%) officer (7%), founder (9%) A member of the board of directors (11%) Two-thirds(67%) of departments as administrative units had relationships with industry. No effect on professional activities (66%) BUT negative impact on conducting unbiased research (72%) Campbell EG et al - JAMA. 2007;298(15):1779-1786

16. Campbell EG et al - JAMA. 2007;298(15):1779-1786

17. Méta-analyses…. • Hétérogénéité des essais inclus • Analyse minutieuse • Scores de qualité • Qualité de la meta-analyse (double lecture, analyses de sensibilité, exhaustivité biblio) • Biais de publication • 271/1041 des essais réalisés par des  « professionnels » (Dickersin K et al – 1987) • 27 soumis et refusés • 33% stop prématuré • Le reste: résultats négatifs ou sans intérêt • Intérêt des registres d’essais déclarés +++ A ne faire que si une RCT de même taille n’est pas faisable( ou dans un 1er temps)

18. Discrepancies between large meta-analyses and subsequent large RCT (>1000 Pts) Lelorier J et Gregoire G: NEJM 1997; 337:8:536

19. Articles originaux sur cirrhose et hépatites de 1945 à 1999 dans Lancet et Gastroenterology (RCTs et non RCTs tiré au sort par période de 5 ans) • Toutes les meta-analyses de 1945 à 1992 (tous les journaux) • Aucune jusqu’à 1980 • Scores de qualité des RCTs et des meta-analyses • Classification par 6 experts aveugles en 3 classes • Conclusions toujours valables • Conclusions valables mais obsolètes • Conclusions fausses

20. 285/474 (60%) conclusions sont encore vraies, 91 (19%) obsolètes, 98 (21%) fausses • Conclusions encore vraies entre 1980 et 1999: 76% • Méta-analyses sur données individuelles: 6/6 vraies P<0.001 Survie à 20 ans: Méta-analyses: 57  10% Non RCTs: 87  2 % RCTs: 85  3% IF>10!!

21. Obstacles à l’EBM en réanimation • Changement de comportement par diffusion passive • Population des études non représentative de la vraie vie • Le critère de jugement aurait pu être intéressant mais pas de la manière dont il est présenté • Les résultats sont en risque relatif et pas en variation du risque absolu • Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet • Une RCT peut être contre dite par une autre quelques temps après

22. Low Tidal volume

23. Obstacles à l’EBM en réanimation • Changement de comportement par diffusion passive • Population des études non représentative de la vraie vie • Le critère de jugement aurait pu être intéressant mais pas de la manière dont il est présenté • Les résultats sont en risque relatif et pas en variation du risque absolu • Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet • Une RCT peut être contre dite par une autre quelques temps après

24. What patients are we talking about??? • Severe sepsis…what is it? (case-mix infection etc…)

25. Effet consentement éclairé • …Nécessité éthique qui pénalise l’applicabilité externe de la recherche sur les patients non compétents • Sélection non aléatoire de l’échantillon inclus • Centres particuliers souvent HU parfois distant de la vraie vie • Délai entre l’indication et le début du traitement (sepsis+++, ards, HF haut débit etc…) • Intérêt des nouvelles directives, consentement d’urgence….

26. AJRCCM 2003; 167:1304 Diminution progressive des VC non influencé par les résultats de l’ARDS net et largement au dessus de 6 ml/kg…

27. Why 6 ml/kg is not accepted? • Because tidal volume was 10.3  2 ml/Kg in 10 centers between 1996 and 1999 and not 12!!! (Thompson, Chest 2001) • These results was confirmed in two large epidemiological study (Esteban JAMA 2002, Brun-Buisson ICM 2004) • Because mortality of not enroled ards patients was similar to the low tidal volume group!!!! (Hayden AJRCCM 2000)

28. Les patients ne sont pas nécessairement représentatifs de la population que l’on soigne… • 15 % des patients éligibles inclus dans ARDS net • 40% de DC vs 60% dans les études épidémiologiques… Problème de la REPRESENTATIVITE de l’échantillon ++++ • La randomisation ne garantit pas l’équilibre entre les groupes • Facteurs de confusion ARDS net: On sait que DC ALI >>> DC ARDS …. • Les critères d’inclusion ne garantissent pas nécessairement la comparabilité entre les groupes et l’équivalence avec la population que je soigne…  Épreuve de 30 mn de VM (8 ml/kg, peep 10, 100%) Ferguson et al – ICM 2004; 30:1111

29. Control group in the Vandenberghe study (2006) The control group…« is an exagerate real life » Finney – JAMA 2003

30. …Could no longer be used because physician attitude changed

31. Prowess • 1690 pts/ 11 pays/ 164 sites!!!! • Uniquement 6.1% de réduction de DC • A peine quelques % des sepsis sévères admis… • Grande variabilité du reste de la prise en charge….non contrôlée… • Cette étude est-t-elle généralisable…..?

32. Prowess – a learning curve?Macias et al – Crit care med 2004;32:2385

33. « CONCLUSIONS: A learning curve appeared to be present within the PROWESS trial … efficacy improved with increasing site experience... Investigational sites may need to require a minimum level of protocol-specific experience to appropriately implement a given trial. …This experience should be an important consideration in designing trials and analysis plans.  … » Macias et al – Crit care med 2004;32:2385

34. Obstacles à l’EBM en réanimation • Changement de comportement par diffusion passive • Population des études non représentative de la vraie vie • Le critère de jugement ne sont pas forcement bon ou sont mal présentés • Les résultats sont en risque relatif et pas en variation du risque absolu • Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet • Une RCT peut être contre dite par une autre quelques temps après

35. Les (les) critères de jugement Précis Reproductible Reflet de ce que l’on veux mesurer.. Attention au choix Attention aux critères multiples

36. « Surrogate end-points » • Y a t-il une association forte indiscutable entre le « surrogate » et le « clinical » end-point? • Y a t-il des démonstrations répétées, pour la même famille de traitement, que l’amélioration du « surrogate » est associée à une amélioration du clinical end-point? • Quelle est l’importance de l’effet et sa précision? • Est ce que le rapport coût-bénéfice est dans le bon sens? • Grande circonspection…. Bucher HG – JAMA 1999; 282:771

37. Surrogate end-points…example of failure • Tension artérielle    DC • LNMA   TA Lopez A et al – Crit Care Med 2004;32:21-30

38. Survival:What is the optimal end-point? Underlying illnesses Acute disease Day 14 Day 28 Day 90 1y time

39. Mortality of bacteremic pneumococcal pneumonia

40. Median IQR Mortalité après un sepsis • 20 to 30 % des évènements surviennent après J28 Duration of Hospital stay after infection (European sepsis database - Alberti, 2002)

41. Angus D et al - Crit Care Med 2004; 32:2199 –2206)

42. Angus D et al - Crit Care Med 2004; 32:2199 –2206)

43. What is the best??? • Day 14  more related to the disease itself…low noise • Day 28  compromise? • Day 90  competing events?, probably more important at the patient’s point of view • 1 year   competing events, more important for patient and at the societal point of view • All of the end-points  YES!!BUT Multiple comparisons ( NNT,  power)

44. P = 1 – (5/6)= 0.16 Multiple comparisons • probabilty to obtain one 5 on a throw of dice • Probability to obtain at least one 5 on 2 throws of dice P = 1 – (5/6)2= 0.30

45. Multiple comparison and type one error • Alpha (type one error) = probability to show a difference whereas there is not (fixed arbitrarily to 5% in biology) • 1 test: =1-95/100= 5% • 2 tests* = 1-(95/100)2= 9.7% • 3 tests* = 1-(95/100)3= 14.3% (*) En supposant l’indépendance entre les facteurs testés

46. If we came back to our example: The probability to show at least one p value less than 5% out of 3 tests is 14.3%! So.. be careful before to conclude… Angus D et al - Crit Care Med 2004; 32:2199 –2206)

47. Si l’on fait 100 ECR (avec risque alpha de 5%) sur le même sujet, il y a 5 chances sur 100 que l’un soit “positif”

48. Les hypothèses et le nombre de sujets nécessaires ne sont pas là que pour la faisabilité…. Freeman et al – AJRCCM 2001; 164:190 • HGH: Pour démontrer un effet délétère de la GH on aurait pu inclure 382 patients de moins et éviter 44 DC… • DCL-Hb: Pas de phase II, Data safety monitoring committee en aveugle…(42 DC évitables) • LNMA: entre l’analyse intermédiaire (n=500) jugeant d’un effet potentiellement delétère et l’arrêt de l’étude: 297 inclusions!!!

49. JAMA 2005; 294: 2203 • 143 RCT, 92 dans les 5 « top impact » journaux • Surtout: sponsorisé par l’industrie, cardiologie, cancérologie • En très forte augmentation • (0.5  1.2% en 2000-2004) • 63% du recrutement prévu • RR médian: 0.53 (0.28-0.66) • 135/143 (94%) ne renseignent pas sur: • L’effectif initialement prévu, l’existence d’analyse(s) intermédiaire(s), les règles d’arrêt. Importance de l’effet traitement peu plausible, règles d’arrêt pas claires, à regarder avec distance…

50. Au nom du petit p…. • Combien faut t-il de décès qui change de bras pour que l’essai Prowess ne soit plus significatif…????? 8 P=0.005 P=0.06