1 / 25

Utveckling och utvärdering av prediktionsmodeller

Utveckling och utvärdering av prediktionsmodeller. SIR Workshop, Saltsjöbaden, Mars 2011 Jonas Björk E-post: Jonas.Bjork@skane.se (Version 2011-03-04). Min bakgrund inom detta område…. Ekvationer för att uppskatta njurfunktion (GFR)

starr
Download Presentation

Utveckling och utvärdering av prediktionsmodeller

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Utveckling och utvärdering av prediktionsmodeller SIR Workshop, Saltsjöbaden, Mars 2011 Jonas Björk E-post: Jonas.Bjork@skane.se (Version 2011-03-04)

  2. Min bakgrund inom detta område… • Ekvationer för att uppskatta njurfunktion (GFR) Samarbete med bl.a. Anders Grubb, klinisk kemi, Lund, och Ulf Nyman, Röntgen, Trelleborg sedan 2004 • Uppskatta risken för akut koronart syndrom (AKS) bland patienter med bröstsmärtaSamarbete med Ulf Ekelund, akutkliniken i Lund, m.fl. sedan 2004 • SBU-projekt kring skattning av njurfunktion 2009 - 2011

  3. Utveckling och utvärdering av prediktionsmodeller • Effektskattning vs. prediktionsmodellering • Vad ska utvärderas? • Diskriminering • Kalibrering • Informationsvärde • Prediktionsfel • Var ska utvärderingen göras? • Grafisk presentation av uppskattad risk

  4. Effektuppskattning vs. Prediktion Effektuppskattning (epidemiologi) Fokus Fokus Prediktion

  5. Effektuppskattning vs. Prediktion (forts.) • Effektuppskattning • Lägg in kovariater (störfaktorer) för att undersöka om sambandet Riskfaktor  Utfall påverkas • Prediktion • Lägg in kovariater för att förbättra prediktioneni viktiga undergrupper. Strävan efter variabelsnål modell.

  6. Effektuppskattning vs. Prediktion (forts.) • Effektuppskattning • Signifikanstesta INTE störfaktorer! • Prediktion • Syftet är att bygga en variabelsnål modell med god prediktiv förmåga • Kan vara OK att signifikanstesta, frågan är vad?

  7. Prediktionsmodellering – Några typfall • Kontinuerligt utfall (ex. linjär regression) • Ex. -Njurfunktion (GFR) • Binärt utfall (ex. logistisk regression, Cox regression, neurala nätverk) • Klassificering • Ex. AKS/Ej AKS GFR över/under 60 mL/min per 1.73 m2Hög/Låg risk för komplikation etc. • Riskuppskattning (sannolikhetsuppskattning) • Ex. Risken för AKS, givet EKG och andra kliniska data Risken för njurskada vid hjärtoperation Mortalitet bland IVA-patienter etc. • Ordinala utfall (ordinal regression)

  8. Ordinal regression - Exempel “Another extension would be to stage chronic kidney disease (CKD) further, by estimating the probability of CKD for each of the five stages simultaneously. Ordinal regression modeling would be a useful statistical tool for that purpose.” (Björk et al. 2010) Ex. eGFR = 50

  9. PrediktionsmodelleringVad ska utvärderas? • Klassificeringsförmåga (Diskriminering) • Area under ROC-kurvan • Sensitivitet (se), specificitet (sp), andelen korrekt klassade • Uppskattade risker (sannolikheter) • Jämförelse av obs. och förväntat antal dödsfall (kalibrering) • Prediktionsfelens storlek (”informationsvärdet” i riskskattningen)

  10. ROC-kurva Ex. Klassning av AKS Visar sant positiva (Se) vs. falskt positiva (1-Sp) (Forberg et al. 2009)

  11. Arean under ROC-kurvanModellens förmåga att separera friska från sjuka (Björk , Liber 2011)

  12. När påverkas ROC-arean?Exempel SAPS 3 i Österrike Tidigare: ROC-area = 82% Nu: ROC-area = ??? (Metnitz et al. 2009)

  13. Se och Sp kan variera i olika populationerEx. Klassning av GFR över/under 60 mL/min/1.73 m2 Sensitiviteten för eGFR-ekvationen MDRD varierar mellan 82 och 97% beroende på population. Specificiteten varierar mellan 67 och 93%. Viktning Population weighting (Björk, Liber 2011)

  14. Population weighting

  15. PrediktionsmodelleringVad ska utvärderas? • Klassificeringsförmåga (Diskriminering) • Area under ROC-kurvan • Sensitivitet (se), specificitet (sp), andelen korrekt klassade • Uppskattade risker (sannolikheter) • Jämförelse av obs. och förväntat antal dödsfall (kalibrering) • Prediktionsfelens storlek (informationsvärdet i riskskattningen)

  16. Kalibrering • Om prediktionsmodellen säger att risken för en viss profil är 10% så innebär detta att 1 på 10 med denna riskprofil verkligen drabbas (dvs. ingen bias i riskuppskattningarna)

  17. Mått på kalibreringHosmer-Lemeshow Goodness-of-fit • Dela in patienterna i ex. 10 grupper • C-test Lika stora grupper • H-test 0-10% risk, 10-20% risk ... 90-100% risk • Jämför förväntad och observerad mortalitet i dessa grupper  2-test

  18. Mått på kalibreringHosmer-Lemeshow Goodness-of-fitExempel - AKS H-test

  19. Mått på kalibreringHosmer-Lemeshow Goodness-of-fit Exempel - SAPS 3 i Österrike (Metnitz et al. 2009)

  20. InformationsvärdePrediktionsfel. Precision. (Björk, Liber 2011)

  21. Mått på informationsvärdetLikelihoodkvot (Björk, Liber 2011)

  22. Mått på prediktionsfeletBriers score ft = prediktionen, ot = utfallet

  23. Mått på prediktionsfeletBriers score - Exempel (Harrison et al. 2007)

  24. PrediktionsmodelleringVar ska utvärderingen göras? • Utveckling och test i samma datamaterial • Prediktionsförmåga överskattas vanligen pga ”överinlärnining” • Intern validering • Uppdelning i utv. och test upprepade gånger. Korsvalidering. • Temporal validering (samma målpopulation, annan tidsperiod) • Extern validering • Annan målpopulation (annan typ eller geografiskt åtskild)

  25. Grafisk presentation av riskuppskattningExempel - AKS (Björk et al. Inskickad för publicering)

More Related