Principes d’évaluation avec de petits échantillons Exemple: le suivi des recommandations en matière d’antihypertenseurs

1. Principes d’évaluationavec de petits échantillonsExemple: le suivi des recommandations en matière d’antihypertenseurs Michel Boutsen Département de Biostatistique ESP - ULB

2. 5 patients pris au hasard • Tant qu'il n'y a pas plus de 2 patients pour lesquels les recommandations n'ont pas été suivies (test +, <=2), • Ilest permis de conclure que le suivi des recommandations atteint 75% • p.c.q. un médecin qui a atteint 75% n' a qu'une chance sur 10 de dépasser 2 suivis - • (Distribution binomiale exacte)

3. Le risque d'erreur de 10% tombe à 0,1% s'il y a trois tests. • C'est comme à l'école!Il est peu probable de réussir 3 trimestres sans connaître (75% de la matière).

4. Mais, • Un élève connaissant 75% peut rater un trimestre (0,24) • Un 4ème test est nécessaire

5. Résumé • 3 + 75% atteint • 2 + et 1 - • 4ème test + 75% atteint • 4ème test - 75% non atteint (1) • 2 - et 1 + 75% non atteint (2) • 3 - 75% non atteint (1) P 2/4 et 10%d'erreur =4,8% (2) P 2/3 et 10%d'erreur =2,7%

6. En pratique • Une expérience avec des médecins volontaires • Domaine des anti-hypertenseurs • p.c.q. il existe un consensus • Objectifs: • Evaluer le temps nécessaire • Valider la méthode avec 6 tests, donc 6 x 5 dossiers, n=30

7. Résultats • 1 heure pour trouver 5 dossiers papier • 5 tests-, 1 test + donc 75% non atteints • aucune combinaison avec 2 tests + • Explications: • HTA en 2ème plan, surcharge de travail, message des firmes • Conclusion, à re-évaluer

8. Validation • Suivi des recommandations11/30=37% (19%-54%) • Efficacité du R/% normotendus: 14/30=47% (29%-65%) • Validité du tirage% hypertendus: 30/323=10% (à comparer avec Feedback)

9. Conclusions • Facile • Entièrement sous contrôle du médecin • Permettrait d'identifier les obstacles à suivre les recommandations. • Laisse un droit à l'erreur.

10. Peut être étendu à d'autres rubriques que les recommandations. • Teste 75% mais n’estime pas le niveau du suivi. Mais plusieurs échantillons permettent de l’estimer pour autant qu ’ils soient pondérés pour la taille des populations dont ils sont issus. • Il existe d'autres plans de sondage.

12. Calcul Dans un échantillon de 5, la probabilité de dépasser 2 suivis- si 25% de suivis- = prob 3 + prob 4 + prob 5 prob 3 = C530,2530,752 = 0,088 prob 4 = C540,2540,751 = 0,015 prob 5 = C550,2550,750 = 0,001 total=0,104

13. Bibliographie Jutand M, Salamon R. [Lot quality assurance sampling: methods and applications in public health] Rev Epidemiol Sante Publique. 2000 Aug;48(4):401-8. French. Singh J, Jain DC, Sharma RS, Verghese T. Evaluation of immunization coverage by lot quality assurance sampling compared with 30-cluster sampling in a primary health centre in India. Bull World Health Organ. 1996;74(3):269-74. Valadez JJ, Transgrud R, Mbugua M, Smith T. Assessing family planning service-delivery skills in Kenya. Stud Fam Plann. 1997 Jun;28(2):143-50. Valadez JJ, Brown LD, Vargas WV, Morley D. Using lot quality assurance sampling to assess measurements for growth monitoring in a developing country's primary health care system. Int J Epidemiol. 1996 Apr;25(2):381-7.

14. Bibliographie Sandiford P. Lot quality assurance sampling for monitoring immunization programmes: cost-efficient or quick and dirty? Health Policy Plan. 1993 Sep;8(3):217-23. Lemeshow S, Taber S. Lot quality assurance sampling: single- and double-sampling plans. World Health Stat Q. 1991;44(3):115-32. Lanata CF, Black RE. Lot quality assurance sampling techniques in health surveys in developing countries: advantages and current constraints. World Health Stat Q. 1991;44(3):133-9.