Welke lessen kunnen we trekken uit evaluaties...

1. Welke lessen kunnen we trekken uit evaluaties... ...met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC

2. Kort iets over het WODC • Wetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie • www.wodc.nl • Semi-onafhankelijk, onderzoek op aanvraag van & in dialoog met het ministerie (onderzoeksprogramma) • Meer dan de helft wordt door WODC weer uitbesteed • Ruim 100 werknemers • Jaarlijks ruim 100 rapporten en evenzoveel artikelen (50% peer reviewed) • Tijdschrift Justitiële Verkenningen (JV) • WODC-Infodesk: bijna 500 informatievragen • Jaarlijks enkele honderdduizenden unieke bezoeken website

3. Wetgeving in Nederland • Vastleggen van instituties, bevoegdheden, geldstromen • Waarborgdoelen (bijv. rechtszekerheid, rechtsgelijkheid, proportionaliteit) • Instrumentele doelen (bijv. meer aanbod van donororganen bewerkstelligen) • De meeste wetten zijn complex van samenstelling • Behelzen niet één, maar meerdere ‘interventies’ – o.a. concrete verplichtingen/verboden, sancties, kaders, subsidies... • Vaak meerdere normaddressaten • Bijv. gemeenten, ziekenhuizen, scholen, bedrijven, burgers • Bijv. Awgb, Wod, Wet Tweede Fase

4. Voorbeeld van complexe wet: Wet Tweede Fase • Uiteenlopende instrumenten: • Vakkenprofielen • Nieuwe examenprogramma’s • Zelfstandig leren • Meer loopbaanoriëntatie, etc. • 3 doelen: • Modernisering onderwijsprogramma bovenbouw • Aansluiting Middelbaar (HAVO / VWO) met Hoger Onderwijs verbeteren • Meer autonomie school in keuze werkvormen

5. Wetgeving in Nederland: een paar cijfers Medio april 2014: • 1.958 wetten in werking • 2.257 AMVB’s • 5.278 Ministeriёle regelingen ‘Het totale aantal regelingen is tussen 2005-2013 stabiel gebleven’ (Brief minister aan TK, 12 september 2013)

6. Waarom evalueren? • Complexe wetgeving & complexe praktijk • Leren(wat kan beter?) • Transparantie, verantwoording afleggen • Wet van de afnemende meeropbrengsten van beleid / wetgeving (meer van hetzelfde is niet altijd beter) • Reductie van ‘mediapraat’, ‘van horen zeggen’, ‘belangengroep-verhalen’ • Andere (politieke) doelen: • Uitstel van besluitvorming – of juist doorduwen • ‘Munitie’ in het debat • Verdediging van gemaakte beleidskeuzes • ...

7. Soorten evaluatie • Ex ante: toekomstgericht / beleidsvoorbereiding • Ex post: terugkijkend • Ex durante: gaandeweg (leren) • Procesevaluatie: proces van in (en uit-)voering • Effectiviteitsevaluatie / effectenevaluatie: doel / neveneffecten • Monitoren: maatschappelijke (doel)indicatoren • Meta-onderzoek & evaluatiesyntheses: bestaande evaluaties als gegevensbron voor de beantwoording van nieuwe / overstijgende vragen

8. Effectiviteitsevaluatie: twee benaderingen • Campbell (Collaboration) De experimentele invalshoek. Watwerkt? • Test beleid en wetgeving als in een ‘laboratorium’: contextuele invloeden worden uitgeschakeld • Attributief: zijn veranderingen op de doel-indicator ook echt aan de wet / het beleid in kwestie toe te schrijven? • Realist evaluation (o.a. Pawson, 2003/6; Pawson & Tilley, 1997) • Wat-werkt-benadering niet altijd realistisch. Hoe ga je om met complex beleid? Hoe verklaar je gemengde uitkomsten? • Contributief: hoe werken interventies (in wetten) welke mechanismen (M) triggeren uitkomsten (O) en onder welke condities (C) gebeurt dat?  C-M-O heuristiek • Mechanismen vaak verborgen (bijv. zwaartekracht, psychologische processen, afwegingen door mensen, groepsprocessen)

9. Experimenteel design à la Campbell Waarbij T (T0, T1) staat voor tijdstip meting (resp. nulmeting en nameting), X voor de interventie (bijv. wetswijziging), e voor experimentele groep en c voor controlegroep. T0eX T1e T0c … T1c

10. CONTEXT • Factoren die de werking van de wet beïnvloeden • Bijv. kenmerken doelgroepen of economische factoren MECHANISMEN - (Beoogde) Keten van gedragsreacties - Langs welke schakels? Outcome Wet Realist evaluation (CMO): HOE werken wetten? .-

11. Synthese wetsevaluaties (WODC, 2008) • Hoe staat het met de onderzoekstechnische kwaliteit van wetsevaluaties? • Wat leren we over de aard en werking van de geëvalueerde wetten? • Welke typen interventies bevatten wetten? • Doelbereiking/ effectiviteit? • Tussengelegen processen? • Invloeden vanuit de context?

12. Nederlandse wetten: typen interventies • ‘Bestuursinstrumenten’: 80% (kaders, instructies) • Voorbeeld: Wet op de Basisvorming • Juridische interventies: Handhaving: 59%. Vooral richting burgers en bedrijven. • Voorbeelden: Ontnemings (Pluk-Ze) wetgeving, Mededingingswet • Financiёle prikkels: 10%. Vooral voor burgers en bedrijven • Voorbeeld:Wet Inkomstenbelasting, Wet Ink.vz. Kunstenaars

13. Doelbereiking • 41 uit 58: ‘middelmatig’ • 11: relatief hoog • 6: relatief gering • Meeste doelbereiking in geval van: • Wetten die louter uitvoerders adresseren • Kwaliteit van proces van invoering en uitvoering/handhaving • Meer tijdsverloop tussen invoering en evaluatie • Ambitieniveau

14. C-M-O in de evaluatiepraktijk ... • Veel beschrijvingen van het implementatieproces (de invoering en deels de tenuitvoerlegging) • Relatief veel over Uitkomsten (O) • ... echter weinig over Mechanismen (M): Gefragmenteerde beschrijvingen van de verdere dóórwerking op de doelgroep • Bijv. HOE leiden de vele instrumenten in de Wet Tweede Fase nu precies tot kwaliteitsverbetering? • Gefragmenteerde informatie over Contexten (C)

15. Beoogde werking in wetten • Institutionele mechanismen, gericht op organisaties met publieke taak • Zelfsturing, checks and balances, integrale aanpak, regierol, organisatorische ingrepen, versobering en transparantie • Sociale mechanismen, gericht op burgers en bedrijven • Rechtshandhaving, rechtsbescherming, financiële prikkels, communicatie

16. Werkingsprocessen in werkelijkheid • Personen, bedrijven, uitvoerders kennen de wet niet altijd (direct) goed • De uitvoering stokt of verloopt traag; coördinatie- en capaciteitsproblemen (vgl. Nas et al. 2011) • Autonomie en maatwerk lieten te wensen over; personeelsproblemen; problemen in de samenwerking tussen organisaties (taakverdeling, informatie-uitwisseling) • Evaluaties komen vaak (te) vroeg, waardoor uitvoering nog niet is voltooid en werking niet is opgetreden

17. Voorbeeld: rechtshandhaving in theorie • Een afdwingbaar ge- of verbod (interventie) • bijv. met sancties (straf- /bestuursrechtelijk) • of via de civiele rechter • Zou moeten leiden tot (generaal- en specifiek)preventieve werking (M) • En zo ongewenst gedrag voorkómen of terugdringen (O) • Niet alleen op burgers/ bedrijven, maar ook op uitvoerenden Bijv. aansturing van (huis)artsen

18. Rechtshandhaving: de werkelijkheid • Sancties worden in de praktijk nauwelijks opgelegd  controle- en detectiekansen zijn klein • Preventieve werking is gefragmenteerd: hier wel, daar niet • Niettemin is veel naleving bereikt • Hoe dit laatste te verklaren?

19. Werking in de praktijk: andere voorbeelden • WMCZ: erosie van bestaande medezeggenschapstructuren  ‘crowding out’ • Wvgs: spontane naleving vanwege grote bedrijfsmatige risico’s • Veerman (2013) vond dat de doelbereiking van wetgeving toeneemt met: • Consultatie • Inzet van toezichts- en handhavingsbevoegdheden • Nalevingsgerichte handhaving • Naleving

20. Context • Omgevingscondities die het slagen of falen van wetten beïnvloeden Werkelijkheid: • Grote verschillen in succes tussen gemeenten, regio’s en groepen mensen • Grote instellingen en bedrijven ’doen het beter’ • Flankerende wetten en regels werken volgens veel evaluaties ‘complicerend’

21. Voorbeeld: Basisvorming • Bestuurlijke context • Andere, gelijktijdige hervormingsoperaties (2e fase / Studiehuis) • Schoolbesturen en leraren zijn overbelast, er is (te) weinig capaciteit voor uitvoering • Schoolcontext • Verschillen in resultaat tussen grote en kleine scholen & resultaatverschillen tussen vakken • Individuele context • Kwaliteitsbewustzijn bij leraren maakt verschil

22. Context in de praktijk op 3 niveaus • Macro: samenleving/economie, wetten & regels • Groei, afname, fusies • Aanpalende wetten en regels, EU-regelgeving • Meso: organisaties & netwerken • Omvang organisaties • ‘Bestuurscultuur’ • Micro: individuen, gevallen • Startniveau (bijv. nieuwkomers, scholieren, leraren) • Type crimineel (bijv. bij Pluk-ze), omvang van het bedrijf

23. Context (het veld) uiterst divers, zo ook werking en doelbereiking Doel Wet/ interventie

24. Aannames die zijn uitgedaagd • Wet = naleving • Wetten leiden tot Weten… • ...en Weten leidt tot Doen Veerman (2013): weten, willen en kunnen zijn – gelet op de empirie – inderdaad cruciaal voor doelbereiking • Normadressanten maken kosten-batenafwegingen & handelen daar ook naar, bijv. • Calculeren detectie-, pak- en sanctiekans • Zijn gevoelig voor financiële prikkels Mensen gebruiken vuistregels en zijn gebiased, zijn sociale en emotionele wezens, etc. Niettemin: wetgeving heeft een ordenende functie, dus kan daar niet altijd van uitgaan • Regelgeving werkt overal op dezelfde manier / in dezelfde mate De context is dus van belang maar ook complex en divers; wordt nooit helemaal gekend

25. Mechanismen van menselijk gedrag • ....die van belang kunnen zijn voor de werking van wetten (Veerman, 2013:73) • Betrokkenheid op het directe eigenbelang, moral hazard, shadow of the future • Sociale druk, imitatie, groupthink, gewoonte • Verliesaversie • Angstreductie • Padafhankelijkheid, reductie van cognitieve dissonantie • Informatiereductie • Respect

26. Naar Evidence Based wetgeving? Voor beleid & onderzoek • Open de black box: hoe werkte ‘t / moet ‘t werken, voor wie en onder welke condities? Voor beleid • Oog voor de (o.a. sociale, economische en capacitaire) context bij de keuze & implementatie van interventies • Oog voor ‘fouten’ en ‘short cuts’ in waarneming en beslisgedrag doelgroepen • (in de VS:) vereenvoudiging van (communicatie van) regels, ‘default’ regels, aanhaken op saillante voorbeelden in campagnes • Inzet en gebruik van ex ante onderzoek

27. Ex ante onderzoek • Steeds meer aandacht voor effectief beleid • Eerder onderzoek: ex ante evaluatie gebeurt niet zo vaak (en niet goed genoeg) • Inmiddels vele toetsen • Kaders: RPE ( Rbv 2008) en IAK (2011) • Wetenschappelijke inzichten over (verplicht) ex ante onderzoek • Nederland • EU

28. Uitvoerders

29. Stadium van beleid & onderzochte alternatieven • Hoe verder de planvorming, hoe minder mogelijke doorwerking • Stadium niet exact te bepalen o.b.v. de rapporten • 85% vond plaats voorafgaand aan de besluitvorming • Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ het ontwikkelingstraject • 15% na nemen besluit verricht • Deels uitvoeringsanalyses, maar ook klein aandeel studies over doelbereiking / alternatieven • Gemiddeld zijn 3,4 alternatieven bestudeerd • Afhankelijk van opdrachtgever en uitvoerder • Na besluitvorming toch nog 1,8 opties

30. Typen studies

31. Uitgelicht: (M)KBA’s • Verschillende doelen en alternatieven samenbrengen in één analyse • Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten • In MKBA ook maatschappelijke kosten en baten verdisconteerd • Zo mogelijk in geld uitgedrukt (gemonetariseerd) • Uitmondend in een saldo • Bandbreedte rond dit saldo afhankelijk van scenario (gevoeligheidsanalyses)

32. Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof • Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken (huidige situatie) • Directe, indirecte en externe effecten vertaald naar kosten en baten • Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid • Indirect: o.a. uitstel van kinderopvanggebruik • Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode • Ervaringscijfers: literatuuronderzoek (buitenland) • Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode) • Conclusie: negatief maatschappelijk saldo • Bandbreedte wel groot • Effecten uitsplitsen naar actoren • Aanknopingspunten voor beleidsoptimalisatie

33. Uitgelicht: Ex ante evaluaties van potentiële effectiviteit • Kan het doel met voorziene instrumentarium cq. alternatieven bereikt worden? • Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt? • In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses) • Vaak een mix van onderzoeksmethoden; in 50% kwantitatief onderzoek • De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor • Beleidswetenschappelijke methode • ‘Arenamodel’

34. Gebruik van ex ante onderzoek in de praktijk • Redelijke mate van kennisname door bijv. Kamerleden, bewindspersonen, het veld • Wisselende mate van standpuntbeïnvloeding/ discussie • Soms kwam de ex ante studie daarvoor te laat • Dezelfde – onzekere – bevindingen zijn gebruikt om bijv. zowel het SP- als het VVD-standpunt te onderbouwen • (Enige) doorwerking in 3 van de 5 onderzochte gevallen; in de 2 andere cases was sprake van: • Nieuwe minister, van een andere partij • Val van het kabinet-Rutte I

35. Wat verklaart gebruik van ex ante onderzoek? • Besluitvormingscontext • Relatie evaluatie – wetgeving niet 1 op 1; evaluatie geen receptenboek • Timing • Beleidscyclus ≠ looptijd onderzoek • Contact ‘opdrachtgever- opdrachtnemer’ • bijv. in begeleidingsscommissie of klankbordgroep • Evaluatiekwaliteit • Begrijpelijkheid en verspreiding

36. Vragen • Eigen ervaringen / praktijken met ex ante en ex post evaluatie? • IAK? • Wat kan de bijdrage zijn van ex ante onderzoek op uw werkgebied (of breder)? / Wat zijn redenen om ertoe over te gaan? • Wat voor (soort) vragen zouden dan vooral gesteld moeten worden? • Wanneer is het te laat voor ex ante onderzoek; wanneer is het te vroeg? • Wat zijn redenen om niettot evaluatie over te gaan?

37. Contact c.m.klein@minvenj.nl 06 46891751