1 / 10

Discrimination

Discrimination. Validation. Système de classification: affecte un sujet à la classe 0 ou à la classe 1 Diagnostic: 0 = non malade; 1= malade Pronostic: 0 = non événement (good outcome); 1= événement (poor outcome) Problème : Résultat observé binaire

kalea
Download Presentation

Discrimination

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Discrimination Validation • Système de classification: affecte un sujet à la classe 0 ou à la classe 1 • Diagnostic: 0 = non malade; 1= malade • Pronostic: 0 = non événement (good outcome); 1= événement (poor outcome) • Problème : • Résultat observé binaire • Risque prédit: probabilité p entre 0 et 1 à laquelle on applique un seuil pour prendre la décision de classification (ex: Dg positif si p > 0.5) • Indicateurs: Sensibilité, Spécificité, Valeurs prédictives, aire sous la courbe ROC Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  2. M+ M- PVP FP NFN VN M+: événement M-: non événement P: positifs (p > S) N: Négatifs (p < S) VP: vrais positifs FP: faux positifs VN: vrais négatifs FN: faux négatifs Seuil S négatif positif Non événement VN VP événement FN FP 0 0.5 1 Probabilité p Discrimination Validation Sensibilité = VP/ M+ Spécificité = VN / M- VPP = VP /P Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  3. M+ M- p1> S VP FP p1 <= S FN VN M+ M- p1> S VP FP p1 <= S FN VN Seuil =0.6 Seuil = 0.4 Seuil =0.4 M+ M- p1> S VP FP p1 <= S FN VN Seuil =0.2 Seuil = 0.6 (…) C index = 0.8 C index = 0.55 Discrimination Validation • Risque = probabilité p1estimée, évaluée par rapport à un résultat observé (0 ou 1) Seuil = 0.2 1 0.8 0.6 0.4 Sensibilité 0.2 0 0 0.2 0.4 0.6 0.8 1 1- Spécificité (taux de faux positifs) Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  4. Discrimination Validation Signification de l’aire sous la courbe ROC 1 Discrimination parfaite: C index = 1 Exemple: C index = 0.8 Pas de discrimination: C index = 0.5 0.8 0.6 0.4 Sensibilité 0.2 0 0 0.2 0.4 0.6 0.8 1 1- Spécificité (taux de faux positifs) Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  5. Estimations p du modèle de prédiction Pour les Malades Pour les non malades 0.7 . 0.1 0.6 . 0.3 0.2 . 0.7 0.5 . 0.4 0.2 0.8 Paires concordante concordante ex-aequo concordante concordante discordante …On envisage toutes les paires possibles: Discrimination Validation Interprétation du C index Concordantes + ½ ex-aequo C index = ---------------------------------------- Toutes les paires Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  6. Calibration Validation • Dans quelle mesure le risque prédit est-il proche du risque réel (virtuel) ? • Test de Hosmer et Lemeshow • Test de qualité de l’ajustement (« Goodness of fit  ») • Décomposition de la covariance • Histogramme des taux d’événements observés par décile de risque prédit (représentation graphique du test de qualité de l’ajustement) Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  7. Seuil S (sur le risque prédit) Négatif Positif Moyennement discriminant Bas Moyen Elevé Risque prédit: Calibration/Discrimination Validation Bien calibré Risque « réel » 1 0 Seuil théorique = 0.5 Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  8. Seuil S (sur le risque prédit) Négatif Positif Bien Discriminant Bas Moyen Elevé Risque prédit: Calibration/Discrimination Validation Mal calibré Risque « réel » 1 0 Seuil théorique = 0.5 Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  9. 1 1 Mal calibré Bien calibré 0.8 0.8 0.6 0.6 Observed event rate 0.4 0.4 0.2 0.2 0 0 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1 Predicted event rate Events 1 3 5 7 9 11 13 15 17 19 Patients 20 20 20 20 20 20 20 20 20 20 /décile 8 9 14 6 17 10 12 8 8 8 13 22 27 19 25 22 24 20 17 11 Calibration Validation Dans quelle mesure le risque prédit est-il proche du risque réel (virtuel) ? (nombre d’événements observés par décile de risque prédit) Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

  10. Predictive performance Results Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

More Related