Overzicht

1. Slimme subsidies17 september 2013Evaluatie van subsidiesDries VerletStudiedienst van de Vlaamse Regering

2. Overzicht • Inleiding • Wat is beleidsevaluatie? • Types van evaluatie • Wat te evalueren • Indicatoren • Zelf doen of uitbesteden? • Evalueren in drie stappen • Ter uitleiding

3. Inleiding • Wat zijn subsidies? Een subsidie is een financiële aansporing om het gedrag van de bevolking of van een specifieke doelgroep (dat kan ook een andere overheid zijn) te beïnvloeden in de door de overheid gewenste richting. • Een frequent ingezet instrument: maar liefst 260 soorten premies en subsidies die vanuit de Vlaamse overheid worden gegeven aan een diversiteit aan doelgroepen

4. Inleiding • Soorten premies en subsidies: • Bouwen, wonen en energie (35) • Cultuur, sport en vrije tijd (34) • Economie en werk (75) • Gezin, welzijn en gezondheid (63) • Mobiliteit en openbare werken (9) • Natuur en milieu (14) • Onderwijs en wetenschap (29) • Overheid (9) Bron: http://www.vlaanderen.be/nl/premies-en-subsidies • Belangrijke uitgavepost van de Vlaamse overheid

5. Wat is beleidsevaluatie? • Enkele definities: ‘Evaluation is the systematic and objective determination of the worth or merit of an object’ (Scriven, 2007) ‘A systematic or careful assessment of the merit, worth, and value of administration, output, and outcome of government interventions, which is intended to play a role in the future, practical action situation’ (Vedung, 1997) • Link met beleidspraktijk • Evalueren is waarderen • Evaluatie ≠monitoring

6. Beleidsevaluatie versus monitoring • Evaluatie en monitoring tegenover elkaar: • Globaal: verschillend qua focus en gebruik, maar methodologisch complementair • Gelijkenissen: qua structurering, planning alsook wat betreft het verkrijgen, analyseren en beoordelen van data • Monitoring: • Beschrijvend, wat • Permanent • Algemeen • Bronnen vaker verankerd in organisatiestructuur • Belangrijke rol voor managers • Evaluatie • Waarom/hoe • Ad hoc • Onderwerpspecifiek • Gerichte bronnen nodig • Vaak niet door het management zelf

7. Types van beleidsevaluaties I • Naargelang het tijdstip in de beleidscyclus Bron figuur: De Peuter, 2007, 36

8. Types ex ante evaluaties van subsidies • Bevragen van de potentiële ontvangers Enkele aandachtspunten: - Strategisch gedrag vermijden - Goede steekproef - Wel overwogen voorstelling van de thematiek - Nood aan een controlegroep • Eerder kwalitatieve bevraging van experten • “Modellenspoor”: door middel van structurele modellen die gebaseerd zijn op economische theorie de reactie van subsidieontvangers trachten in te schatten. Bron: studie LNE

9. Types ex post evaluaties van subsidies • beleidsdoorlichting: evaluatie van het beleid op het niveau van de algemene of operationele doelstellingen • effectenonderzoek ex post: het meten van netto-effecten van beleid Bron: studie LNE

10. Watteevalueren? Omgevingsfactoren Maatschappelijke problemen en noden Beleidsniveau Beleid input Structuren, institutionele en management Organisatieniveau Activiteiten en processen Outputs Outcomes op korte en ml termijn Outcomes op langere termijn Doelstellingen input Context

11. Omschrijving van de samenstellende delen • Doelstellingen: strategische versus operationele; stabiliteit en consistentie doorheen de verschillende planningsdocumenten • Input: mensen en middelen die men inzet • Throughput: processen en activiteiten waarin inputs tot outputs worden omgezet • Output: volume, kwaliteit en waarde van goederen en diensten • Outcome: gebeurtenissen of omstandigheden die het (on-)bedoelde resultaat zijn van de acties van de overheid. Vaak niet éénduidig toe te schrijven aan de handelingen van de overheid • Omgevingsfactoren: als organisatie geen vat op, maar kunnen doorslaggevende invloed uitoefenen

12. Omschrijving van de samenstellende delen INPUT TROUGHPUT OUTPUT OUTCOME

13. Voorbeeld: schooltoelage • Middelen: personeel, hun huisvesting en logistiek en financiën • Activiteiten/processen: juridische kader, subsidiereglement, … • Prestaties/Output: toekenning van een schooltoelage, bereik van de doelgroepen… • Effecten: de mate waarin de leerlingen de kennis/attitudes verder ontwikkelen, vorm geven, etc.; toegankelijkheid van het onderwijs verhogen

14. Types van beleidsevaluaties II • Evaluatiecriteria : • Aanvaarbaarheid • Coherentie • Consistentie • Doelbereiking • Duurzaamheid • Efficiëntie • Effectiviteit • Uitvoerbaarheid • … • Interne versus externe evaluatie • Nog tal van subtypes

15. Indicatoren ter voeding van de evaluatie • Wat zijn indicatoren? Enkele ingrediënten: • Indicatoren als operationalisering van abstracte concepten, proxies • Maken deel uit van een één of ander informatiesysteem dat een rol speelt in de beleidsvoering (en expliciet of impliciet deel uitmaakt van beleidstheorie) • Statistieken zijn niet per definitie indicatoren (en omgekeerd)

16. Wat maakt een indicator een goede indicator? Indicatorenzelf: “FABRIC”: Focused Appropriate Balanced Robust Integrated Cost effective • Doelstellingen: • “SMART”: • Specific • Measurable • Achievable • Relevant • Time-bound

17. Een diversiteit aan types van indicatoren • Enkelvoudige versus samengestelde indicatoren • “Objectieve” versus “subjectieve” indicatoren • Besturingsniveau: strategisch, tactisch of operationeel • Managementcyclus • Dimensies: bereik, volume, kwaliteit • Productieproces (cf. supra)

18. Op zoek naar indicatoren • Wetenschap en beleid: een moeilijk huwelijk • Onderbenutting van informatie uit indicatoren: Redenen: 1. Minder goede match tussen beleid en wetenschap 2. Organisatiestructuren die integratie in de weg staan 3. Onvoldoende politieke incentives

19. De link tussen het beleidsproces, indicatoren en het “veld” (Brennin, 2007)

20. Lessen uit het gebruik van indicatoren bij overheden • Cijfers op zich zijn nog geen goede indicatoren • Bruikbare indicatoren vereisen een duidelijke conceptuele basis • Exhaustief (trachten te) zijn is een rem op de bruikbaarheid • Symbolische waarde van een indicator, kan het wezenlijk belang ervan overschaduwen • Indicator ≠ maatschappelijke realiteit • Het meten op zich indiceert nog niet de geschikte actie • Bij het ondernemen van actie, zoek indicatoren die iets zeggen over oorzaken, niet over symptomen

21. Lessen uit het gebruik van indicatoren bij overheden • Het meten op zich oefent een invloed uit: men meet wat men belangrijk acht en indicatoren kunnen ons bewustzijn en focus op specifieke thema’s beïnvloeden • Uitdaging: van beschrijving naar analyse

22. Evaluatie van subsidies: lessen uit Nederland (Algemene Rekenkamer, 2011) • Waarom is de kwaliteit van effectevaluaties bij wijlen gebrekkig • Bij rapporteringen van de evaluaties heeft men vaak meer aandacht voor de bruikbaarheid in de politieke context dan voor de kwaliteit van de eigenlijke evaluatie • Sommige subsidies lenen zich minder goed voor een effectevaluatie (bv. exploitatiesubsidies) • De kostprijs van het evalueren leidt soms tot effectevaluaties van mindere kwaliteit

23. Lessen uit Nederland (Algemene Rekenkamer, 2011) • Waarom is het goed evalueren van de subsidies en hun effectiviteit zo belangrijk? • Bewijs voor effectief beleid • Bewijs voor effectiever en efficiënter beleid • Basis voor verbetering van ander beleid • Basis voor goede verantwoording

24. Zelf doen of uitbesteden? • Interne dan wel externe evaluatie - Intern: evaluator maakt deel uit van de organisatie waarvan het beleid wordt geëvalueerd • Extern: evaluator staat los van de organisatie • Geen strikt onderscheid • Een combinatie van beiden is mogelijk en soms ook te verkiezen • Link met motieven tot evaluatie

25. Zelf doen of uitbesteden? • Voor- en nadelen interne dan wel externe evaluatie (cf. De Peuter e.a., 2007)

26. Evalueren van subsidies in drie stappen • Algemene Rekenkamer, 2011: http://www.rekenkamer.nl/Publicaties/Handreikingen/Handreiking_effectevaluaties_subsidies Stap 1: Randvoorwaarden creëren Stap 2: Voorbereiden en uitvoeren van de evaluatie Stap 3: Resultaten van de evaluatie benutten

27. Stap 1: Randvoorwaarden creëren • Voorbereiden van de nieuwe subsidie: gestructureerd aanpakken, o.a. voorzien in de mogelijkheden voor een goede effectevaluatie • Vastleggen van doel en beleidstheorie: - Maak een probleemanalyse (cf. RIA) - Beleidstheorie expliciteren: hoe draagt de subsidie bij tot de gewenste activiteit en de activiteit tot de gewenste maatschappelijke effecten (outcome) - Doelstellingen SMART formuleren - Doelstellingen: op niveau van de output en outcome - Leg de doelen en de beleidstheorie vast en maak ze kenbaar

28. Stap 1: Randvoorwaarden creëren • Plannen van evaluatie en monitoring: • Plan al bij de start van de subsidie een evaluatie • Best een meting vooraleer de effecten zichtbaar kunnen zijn - Weeg af of de subsidie het best afzonderlijk of in samenhang met andere maatregelen kan worden geëvalueerd • Ga na welke gegevens straks nodig zijn voor de evaluatie, desgevallend opzetten van een monitoringssysteem • Doe een nulmeting • Experimenteel opzet mogelijk? • Leg de evaluatiedatum vast.

29. Stap 2: Voorbereiden en uitvoeren van de evaluatie Enkele aandachtspunten voor een goede effectevaluatie:   • Betrek evaluatiedeskundigen bij het onderzoek • Uitbesteden of niet? Zo ja: - Selecteer uitvoerder op kwaliteit - Denk mee met de uitvoerder gedurende opzet/uitvoering • Maak goede afspraken over de rapportage • Beoordeel rapport en conclusies op kwaliteit • Zorg voor een evaluatie die praktisch nut heeft voor de gebruikers • Baken de doelen van de subsidie af • Bewaak de kwaliteit van de metingen: validiteit, betrouwbaarheid, causaliteit • Bewaak de kwaliteit van de conclusies • Onafhankelijkheid van de uitvoering van de evaluatie

30. Stap 3: Resultaten van de evaluatie benutten • Te benutten voor het afleggen van verantwoording dan wel om er lessen uit te trekken • Maak duidelijk onderscheid tussen de resultaten evaluatie en appreciatie ervan • Ter bevordering van het leereffect: - Alle geledingen al betrekken tijdens de uitvoering van het onderzoek - Verspreid de evaluatie onder alle belanghebbenden - Gebruik alleen voldoende onderbouwde conclusies voor aanpassingen in de subsidie - Besteed aandacht aan signalen dat de subsidie (deels) ineffectief is (cadeaueffect)

31. Ter uitleiding • Als overheid beschikken we vaak niet over de informatie om te leren van subsidiëring als beleidsinstrument • Nood aan een bedrijfsvoering gericht op subsidies teneinde te leren over de effectiviteit van het overheidsoptreden • Als lerende organisatie: niet alleen evalueren op zich, maar ook plannen om te evalueren • Evaluatie van de effectiviteit van subsidies: niet evident, maar daarom niet minder belangrijk