Evaluatie-onderzoek: van gerandomiseerd experiment naar natuurlijke experiment

1. Evaluatie-onderzoek: van gerandomiseerd experiment naar natuurlijke experiment Lex Burdorf Afdeling Maatschappelijke Gezondheidszorg Erasmus MC Rotterdam

2. Evaluatie-onderzoek Waarom is het gerandomiseerd experiment de gouden standaard: - randomisatie zorgt er voor dat alle mogelijke oorzaken van de uitkomstmaat gelijkelijk verdeeld zijn over interventie en controlegroep - geen allocatie bias (balans van alle (onbekende) prognostische factoren - conclusie over causaliteit …maar wat dan voor de volgende interventies in de publieke gezondheidszorg: - introductie van veiligheidsgordel in auto - verwijdering van lood uit benzine - renovatie van woningen in achterstandswijk - aanleg van fietspaden in de stad - media campagne “ik ben de bob”

3. Evaluatie-onderzoek Het gerandomiseerd experiment (RCT) Alternatieven voor niet-gerandomiseerde evaluatie van interventies: 1. Pre-post design 2. Analyse van observationele studies als niet-gerandomiseerde trials 3. Propensity score methode 4. Instrumentele variabele methode 5. ‘Interrupted time series’ analyse 6. Community intervention trials

4. RCT Fit for Work Doelgroep: Uitkeringsgerechtigden met grote afstand tot arbeidsmarkt en psychische problemen en andere belemmeringen Populatie: Uitkeringsgerechtigden in de 4 grote steden (+ Capelle a/d IJssel) Subsidie: ZonMW voor Wetenschappelijk onderzoek (€550k) Min SZW, UWV, gemeentelijke SD voor interventiekosten

5. Effectevaluatie Fit4Work • Onderzoeksvragen • Welke factoren bepalen het bereik, deelname en minimale drop-out? • Wat zijn de effecten van F4W op ervaren psychische gezondheid, werkhervatting en sociale participatie? • Wat zijn de kosten en baten tov de effecten van F4W? • Primaire uitkomstmaten • Ervaren psychische gezondheid (MHI-5) • Werkhervatting (zelf geformuleerde vragen, data records) • Gedeeltelijke werkhervatting (zelf geformuleerde vragen, data records) • Sociale participatie (zelf geformuleerde vragen) • Secundaire uitkomstmaten • Zelfwaardering (Rosenberg Self-Esteem Scale) • Veerkracht (Brief Resilient Coping Scale) • Sociale problemen (zelf geformuleerde vragen) • Ervaren fysieke gezondheid (SF-12) • Medische consumptie (TiC-protocol)

6. Aanmelding Screening Geschikt voor F4W Niet geschikt voor F4W Randomisatie 1e Vragenlijst (baseline) F4W groep (425) Controle groep (425) Verdiepte diagnose Multidisciplinaire casuistiek bespreking Opstellen integraal werkplan Standaard re-integratie traject Uitvoeren integraal werkplan Plaatsing op een werkplek Begeleiding op de werkplek Nazorg F4W interventie 2e vragenlijst (12 mnd) & 3e vragenlijst (24 mnd) Design Fit4Work studie

7. Randomisatie 1e Vragenlijst (baseline) F4W groep Controle groep Randomisatie + 1e vragenlijst Aanmelding Screening Geschikt voor F4W Niet geschikt voor F4W Randomisatie • Per gemeente • Vastgesteld randomisatie protocol • Door niet direct betrokkene Vragenlijst • Primaire uitkomstmaten • Secundaire uitkomstmaten • Opleiding en werkervaring • Sociaal-demografische kenmerken • Motivatie en attitude tov werk • Algemene gezondheid

8. Procesevaluatie Fit4Work • Formatieve evaluatie • Is F4W aangeboden en worden de beoogde werkzame elementen ook toegepast? • Hoe groot is het bereik in de doelgroep? • Hoeveel personen starten met de interventie? • Hoeveel personen die zijn gestart met F4W blijven deelnemen aan het programma (minimale drop-out)? • Summatieve evaluatie • Welke onderdelen van F4W hangen het sterkst samen met de primaire en secundaire uitkomstmaten? • Welke subgroepen reageren het beste op de F4W interventie?

9. Invloed van gezondheidsbevordering op gezondheid en werk

10. Waarom is interventie niet succesvol ? De interventie is niet succesvol: - psycho-educatie (o.a. zelf-redzaamheid) sluit niet aan bij de specifieke doelgroep - fysieke activiteiten onvoldoende gericht op verankering van meer bewegen in eigen leven - overdracht van interventie naar reïntegratiebedrijven slecht (23% in interventiegroep) - interventie staat volledig los van andere reïntegratie-activiteiten - duur van programma te kort tov noodzakelijke gezondheidsverbetering

11. Alternatieven voor randomisatie in evaluatie van interventies in de publieke gezondheidszorg Kern probleem = bias door imbalans in bekende en onbekende prognostische factoren (allocatie bias, confouding by indication) Potentiele oplossingen: * Pre-interventie matching van controle en interventiegroep op de belangrijkste prognostische factoren * Statistische post-hoc correctie voor potentieel verstorende factoren Cousens et al. Alternatives to randomisation in the evaluation of public-health interventions: statistical analysis and causal inference. J Epid Com Health 2011 Bonell et al. Alternatives to randomisation in the evaluation of public-health interventions: design challenges and solutions. J Epid Com Health 2011

12. Evaluatie-onderzoek Het gerandomiseerd experiment (RCT) Alternatieven voor niet-gerandomiseerde evaluatie van interventies: 1. Pre-post design 2. Analyse van observationele studies als niet-gerandomiseerde trials 3. Propensity score methode 4. Instrumentele variabele methode 5. ‘Interrupted time series’ analyse 6. Community intervention trials

13. Evaluatie-onderzoek – het probleem van ecologische analyse Messerli. NEJM 2012;367:1562-4

14. 1. Pre-post design Peeters TSG 2009;87:166-73

15. Gezondheid en werk bij uitkeringsgerechtigden Studie-opzet (Rotterdam) Doelgroep: Uitkeringsgerechtigden direct verwezen naar reïntegratiebedrijf Uitkeringsgerechtigden eerst gezondheidsinterventie, daarna naar reïntegratiebedrijf Analyse: Mixed model for repeated measurements Meting 1 (maand 1) N = 1829 Meting 2 (maand 7) N = 965 RIB werk

16. Gezondheid en werk bij uitkeringsgerechtigden Deelname Start (n=1829, 66%): 70% schriftelijke vragenlijst en 30% interviews Follow-up (n=965, 53%): 79% schriftelijke vragenlijst en 21% interviews Kenmerken • Leeftijd 39 jaar (sd 9.6) • Man 49% • Lage opleiding 57% • Niet-Nederlandse afkomst 75% • > 5 jaar bijstandsuitkering 43% Gestart met reïntegratie activiteit 30% Gestart in betaalde baan 5%

17. Gezondheid betaalde baan Relatieve risico Algemene gezondheid 1.57 (1.2-2.1)* Fysiek functioneren 2.76 (1.8-4.2)* Ervaren pijn 1.92 (1.4-2.6)* Geestelijke gezondheid 1.19 (0.9-1.6) Sociaal functioneren 1.54 (1.1-2.1)* Vitaliteit 1.48 (1.1-2.0)* Emotionele situatie - functioneren 1.44 (1.1-2.0)* Fysieke situatie - functioneren 1.72 (1.3-2.4)* * p<0.05 • Betere gezondheid heeft een positieve invloed op het starten met betaalde arbeid

18. Starten met betaalde arbeid gezondheid Effect van werk op score (sd) Algemene gezondheid + 7.0 (2.7)* Fysiek functioneren + 9.2 (3.4)* Ervaren pijn + 11.3 (3.6)* Geestelijke gezondheid + 11.0 (2.7)* Sociaal functioneren + 14.2 (3.8)* Vitaliteit + 7.8 (2.5)* Emotionele situatie- functioneren + 22.7 (6.8)* Fysieke situatie - functioneren + 20.0 (6.0)* • Het starten met betaalde arbeid verbetert alle dimensies van ervaren gezondheid

19. 1. Pre-post design Blozik et al. Inappropriate medication. Drugs Aging 2010;27:1009-27

20. 2. Analyse van observationele studies als niet-gerandomiseerde trials Hernan et al. Epidemiology 2008;19:766-79. Observational study: Reduced risk of CHD among postmenopausal hormone users, HR = 0.68 current users vs never users (Nurses’ Health Study in USA) RCT: Intervention treatment (Estrogen plus progestin) resulted in 24% greater incidence of coronary heart disease (Womens’ Health Initiative - 5.6 years follow-up)

21. 2. Analyse van observationele studies als niet-gerandomiseerde trials Study population: no use of any hormone therapy during prior 2 years (1982) * Follow-up 2 years: Two non-randomized groups: (1982-1984, ) - (re-) use of oral estrogen plus progestin (1984-1986, etc) - no use of any hormone therapy Restrictions in study population (among others): - no past diagnosis of cancer, myocardial infarction, stroke - plausible energy intake, sufficient information on food Q (mimic the eligibility criteria, follow- up, treatment arm in RCT)

22. 2. Analyse van observationele studies als niet-gerandomiseerde trials * Follow-up until 2000 8 ‘observational trials’ of 2-yr inclusion periods * Statistical analysis: adjustment for a large array of confounders, measured in 1980 and 1982, including: - education, ethnicity, time since menopause - smoking, alcohol, diet, physical activity - parental history of myocardial infarction - own medical history (blood pressure, diabetes) - aspirin use Intention-to-treat analysis

23. 2. Analyse van observationele studies als niet-gerandomiseerde trials * 101,819 NHS participants, selected for this analysis 34,575 women NHS re-analysis WHI RCT * HR Hormone Use 1.83 first year follow-up (CHD event) 1.42 first 2 years follow-up 1.68 1.11 first 5 years follow-up 1.00 first 8 years follow-up 1.24 0.96 for entire follow-up NHS total cohort analysis current users vs never users: HR = 0.68 (95% CI 0.55-0.83)

24. 2. Analyse van observationele studies als niet-gerandomiseerde trials Explanations for the difference * Start of follow-up (estimated time of therapy initiation between Q2 and Q1 rather than date of Q2) * Definition of users and non-users (exclusion of women who stopped - in an RCT this is intention-to-treat analysis - will bias towards positive finding of hormone use) * Covariates for adjustment (at baseline or at entry in ‘trial’), crucial was distribution of time since menopause (im-balance !) * Eligibility criteria (confounding by indication)

25. 3. Propensity score Analyseplan: 1. Regressie analyse om factoren te bepalen die blootstelling aan interventie voorspellen (= kans dat de interventie wordt aangeboden) (bereken voor elk individu de kans op het krijgen van de interventie) 2. Deel individuen in op basis van de propensity score. Binnen elke categorie van de propensity score hebben sommige individuen daadwerkelijk de interventie gedaan, anderen niet 3. Gestratificeerde analyse op uitkomst tussen personen met de interventie en personen zonder de interventie OF match individuen op de propensity score

26. 3. Propensity score Boer et al. Am J Prev Med 2007;32:298-304 Will neighbourhood design influence walking in metropolitan areas ?

27. 3. Propensity score Toepassing in Rotterdam Evaluatie van de re-integratieaanpakEXiT voor langdurigwerklozen met (psychische) gezondheidsproblemen Onderzoekonderwerklozen in diverse re-integratietrajecten

28. 4. Instrumentele variabele Een instrument (variabele) dat voldoet aan de volgende criteria: 1. De variabele is een proxy voor de blootstelling aan de interventie 2. De variabele is niet direct geassocieerd met de uitkomstmaat 3. De variabele is niet geassocieerd met (niet gemeten) verstorende variabelen

29. 4. Instrumentele variabele A Gezondheid C BTW op sigaretten B roken 1. Instrumentele variabele: belasting 2. Als belasting alleen gezondheid kan beïnvloeden (A) door de associatie met roken (B) dan… ….kan alleen roken de verklaring zijn voor de gezondheidsverschillen

30. 4. Instrumentele variabele IV – institutioneel aanbod van vervroegd pensioen door bedrijven Gezondheid beinvloedt aanbod niet, additionele regressie analyse liet zien dat cognitieve functie voor aanbod niet van invloed was op het aanbod US HRS 1992-2008, elke 2 jaar follow-up meting

31. 5. Interrupted time series analyse Wetten die motor-rijders verplicht een helm te dragen in relatie tot fatale ongevallen van motor-rijders (staten in de VS)

32. 5. Interrupted time series analysis

33. 5. Interrupted time series analysis

34. 6. Community intervention trials

35. Gerandomiseerde studies zijn niet altijd mogelijk en dus niet per definitie de gouden standaard ! In toenemende mate nieuwere technieken om ‘natuurlijke experimenten’ te analyseren met correctie voor allocatie bias Observationele studies kunnen meer worden uitgebaat ! Het is nodig kennis van verschillende vakgebieden integreren a.burdorf@erasmusmc.nl Conclusies