Effecten van toezicht en handhaving: Hoe staan inspecties ervoor?

1. Effecten van toezicht en handhaving: Hoe staan inspecties ervoor? 13 november 2012 Congres E=MC2 Meerjarenprogramma “Effecten van toezicht” dr. Marielle C.J.L. Klerks, IJZ en ba. Wendy M.I. Verdonk-Kleinjan, NVWA

2. Doelstelling • Het in kaart brengen van de wijze waarop binnen rijksinspecties wordt omgegaan met het meten van effecten van toezicht en handhaving.

3. Inspectieken-merken Organisatie Structuur Cultuur Expertise Uitvoering Beleid Afgerond, lopend en gepland onderzoek Plannen en verslagen Kernelementen

4. Vraagstelling • Op welke wijze gaan rijksinspecties anno 2012 om met het meten van effecten van toezicht en handhaving? Onderzoeksvragen • Welke plek heeft het meten van effecten van toezicht en handhaving binnen de inspectieorganisatie? • Op welke wijze komt het meten van effecten van toezicht en handhaving terug in het beleid van de inspectie? • Wat zijn de sterke en de zwakke punten van de uitgevoerde, lopende en geplande effectmetingen?

5. Verslag

6. Organisatie Cultuur Expertise Structuur • Veel variatie qua onderzoekservaring. • Veel onderzoekservaring leidt niet noodzakelijk tot de implementatie van effectmetingen. • Borging van expertise is vaker niet dan wel geregeld. • Coördinatie verschilt per inspectie. • De verantwoordelijkheden zijn over het algemeen duidelijk. • De uitvoering ligt bij meerdere personen. • Een procedure is veelal vaag, of afwezig • Op één inspectie na, heeft elke inspectie een duidelijk vastgelegde visie op effectmeten.

7. Beleid • Bij bijna alle inspecties wordt in de plannen (jaarlijks) aandacht besteed aan effectmeting. • De doelen van effectmeting verschillen per inspectie. • Begrotingen specifiek voor effectmetingen zijn nauwelijks te vinden. • Op afdelings-/directieniveau is er nauwelijks aandacht voor effectmetingen. • Terugkoppeling in jaarverslagen ontbreekt veelal. Plannen en verslagen

8. Uitvoering Onderzoeksplan Methodologie Rapportage • Resultaten over het algemeen duidelijk beschreven. • De overgang van resultaten naar conclusies en daarna weer naar de aanbevelingen is veelal logisch. • Het bereiken van de doelen van de effectmeting spreekt voor zich. • Veelal concrete doelen. • Onderzoeksvraag varieert van algemeen naar heel specifiek. • Effectindicatoren afgestemd op doel. • Geen/weinig aandacht voor neveneffecten, externe factoren, planning en begroting. • Design is gegeven doel adequaat. • Causaal verband interventie en effect bij ondertoezichtstaanden nauwelijks aan te tonen. • Betrouwbaarheid en validiteit hoog mits te beoordelen, maar vaker niet dan wel te beoordelen.

9. Aan de slag als adviesbureau • Trek minimaal drie conclusies op basis van de bevindingen. • Kom per vastgestelde conclusie tot één of meerdere aanbevelingen die het verdere implementatietraject vanheteffectmeten bij de rijksinspecties een impulskunnen geven. • Praktisch: • Bepaal wie er –in één minuut- terugkoppelt. • Tijd over: Verzin een naam voor het adviesbureau.

10. Bedankt voor uw aandacht!