Alternatieve (kwalitatieve) vormen van evaluatieonderzoek

1. Alternatieve (kwalitatieve) vormen van evaluatieonderzoek Prof dr. Trudie Knijn Universiteit Utrecht Onderzoeksprogramma: Social policy and social Intervention Studies (SOPINS)

2. Kwantitatiefstatistischonderzoek: Kwantitatief onderzoek kan nuttig zijn; generaliseerbare uitspraken, toetsen van hypothesen en samenhangen en testen van schalen, soms zelfs causaliteit vast te stellen.Beperkingen: opvattingen en gepercipieerd gedrag van mensen gevat in eenduidige uitspraken, achterliggende beweegredenen laten zich niet makkelijk vangen, worden gemiddeld in ‘statements’. Opvattingen en gepercipieerd gedrag van uitersten verdwijnen uit beeld.Voordeel voor evaluatie onderzoek: als A dan BNadeel: onduidelijk hoe het werkt (de black box blijft dicht).

3. Kwalitatief onderzoek kan nuttig zijn; geen eenduidige uitspraken, beweegredenen achterhalen en in context plaatsen, minderheidsopvattingen en uitersten doen ertoe en kunnen ook iets laten zien over de gemiddelden, causaliteit niet hard maar wel begrijpelijk te maken.Beperkingen: niet generaliseerbaar, testen en toetsen onmogelijk. Voordeel voor evaluatieonderzoek: hoe mechanismen werken; de black box openenNadeel: mechanismen werken niet overal en altijd (contextafhankelijk) Kwalitatief interpreterend onderzoek:

4. DUS: P.G. Swanborn (1999) Evalueren, Amsterdam: Boom.Goed evaluatieonderzoek is vooral afhankelijk van:- het kiezen van de juiste onderzoeksvraag, - het daarbij selecteren van de juiste methode,- en het volgens de regelen der kunst toepassen daarvan. Steeds meer voorkeur voor Mixed Methods:> Eerst exploratie (verkenning) dan meten.OF:> Eerst meten, dan uitdiepen.

5. Principes Realistische Evaluatie:R. Pawson & N. Tilley (1997) Realistic Evaluation • Uitkomst moet zijn gedragsverandering van individu of groep; individu of groep zijn interpreterend subject van resultaat en proces (beoordelend subject) • Interventie vindt plaats in context, deze is nooit dezelfde maar wordt door de interventie niet veranderd. • De interventie richt zich op de mechanismen; de werkzame bestanddelen Dus: 1) interventies werken via het veranderen van de interpretatie van een situatie door (groepen) mensen, 2) (maatschappelijke) situaties waarin de interventies plaatsvinden verschillen van elkaar, en dus 3) vatten verschillende (groepen) mensen het doel, de inhoud, etc. van een interventie in verschillende situaties verschillend op en als gevolg daarvan handelen ze verschillend.

6. In model: M1 = probleemmechanisme  M2 = blokkeermechanismeR1 = problematische regelmatigheid  R2 is situatie na interventieC1 = stabiele contextAanname: context stabiel maar overal anders, dus onderzoeken welke mechanismen werken in verschillende contexten.

7. Toepassingen in Nederland: • Sol, C.C.A.M., A.C. Glebbeek, A.J.E. Edzes, I. Busschers, H.I. de Bok, J.S. Engelsman en C.E.R. Nysten (2011). ‘Fit or unfit’. Naar expliciete re-integratie theorieën. Amsterdam: Universiteit van Amsterdam. • Ruig, L. de, S. Bouma, S. van der Kemp, en M. van Ommeren (2011). Samen in actie. Evaluatie Actieplan Jeugdwerkloosheid. Eindrapport. Zoetermeer: Research voor Beleid. • Bouwman-Van ’t Veer, M., T. Knijn en R. van Berkel (2011). Activeren door participeren. De meerwaarde van de Wet maatschappelijke ondersteuning voor re-integratie van mensen in de bijstand. Utrecht: MOVISIE.

8. Voorbeeld: het effect van de combi van WWB en Wmo voor activering. Stapvoorstap: 1a: Theorieverkenning (zoals in kwantitatiefonderzoek) voorzoekennaarmogelijkeverklaringen. Pawson; ‘every program has a theory’. Paralllel: 1b:Praktijkdeskundigen en beleidsmakersraadplegen; wat is ervolgensjullieaan de hand? • Selecteren ‘best practices’ uitoverzicht website WWB/Wmo en telefonisch consult op criteria samenwerking, duur project en gerapporteerdresultaat. • Opstellen ‘voorlopige’ lijst van werkzamemechanismen op basis van 1a en 1b.

9. Theorie • Arbeidsmotivatie bestaat uit randvoorwaarden (kennis, kunde en vaardigheden) en motivatie (waardeoordeel over extrinsieke en intrinsieke doelen, en zelfeffectiviteit) (de Moor, 1998) • Zelfeffectiviteit; vertrouwen in eigen vaardigheden, capaciteiten en competenties om doelen te bereiken (Bandura, 1977, 1980) • Motivatie optimaal als men veel waarde hecht aan de doelen én de verwachting heeft die ook te kunnen bereiken. • Door de deelname aan een project, verandert er iets in de mogelijkheden van de cliënt (capabilities)(Pawson en Tilley, 1997). • Op basis van die mogelijkheden maken zij bepaalde keuzes (choices).

10. Onderzoek In drie gemeentes in Nederland (best practices na selectieronde): Sittard-Geleen, Ede-Wageningen en Almere. Aan de hand van drie thema’s: • Uitkomst (deelname, uitval, participatieladder, duurzame participatie) • Context (WWB-Wmo beleid, betrokkenheid lokale werkgevers, sociaal netwerk cliënt) • Mechanismen (Opbrengsten, bronnen van informatie over zelfeffectiviteit, relatie met begeleider, belemmeringen opruimen)

11. Mechanismen:

12. Mixed Methods Interviews:Gewensteuitkomsten • Volgens professionals en beleidsmakers • Volgenscliënten Documentanalyse en interviews: Feitelijkeuitkomsten • Volgens WWB criteria (participatieladder) • VolgensWmo criteria (nut voorbuurt, ouderen, vrijwilligerswerk, etc.).Bel Beleidsanalyse, data-analyse en interviews: Context: • Integraalbeleidgemeente- en projectniveau • Lokalewerkloosheid en arbeidsmarkt • Samenwerkingtussenvoorzieningen • Rol van sociaalnetwerk Interviews en focusgroepen:mechanismen • Volgens professionals en beleidsmakers • Volgenscliënten

13. Mechanismen: waardeoordeel opbrengst Vooral positief bij moeders van jonge kinderen. “ De hele dag in je bed hangen en alleen maar tv kijken.. Dat is wel leuk voor een paar weken maar uiteindelijk ga je je vervelen……… ja dan met je toch echt wat gaan doen hoor” OF “Mijn ritme is helemaal uit balans. Kijk, ik ben niet op zoek naar een vaste baan dus ik ga echt niet om 7 uur opstaan om te oefenen. Nee, ik hoef pas om half vier te werken (vrijwilligerswerk via het project), ja dan ga ik niet om 8 uur opstaan.”

14. Mechanisme: inkomsten (sancties en keuzes) Vanwege sanctie WWB: “ Dan blijkt dat je toch altijd weer tot iets meer in staat te zijn dan je zelf denkt… Ik bedoel, intrinsiek is ieder mens lui. Als hij niet per se hoeft, zal hij het ook niet doen, toch?”. Na jaren zwaar en onderbetaald werk: “Ik heb het goed hoor. Ik heb een vet appartement en ik krijg huurtoeslag. Ik ben een overlever. Ik heb eigenlijk helemaal niets nodig. Echt, ik heb niks nodig. Helemaal niks’. Beiden doen vrijwilligerswerk.

15. Mechanisme: succeservaringen “Je moet je bewijzen door onderaan te beginnen, bij de kwekerij, ook als je bankdirecteur ben geweest. En dan krijg je een rapportje. En mijn rapport was ‘kansloos’. Ik was kansloos om weer terug in de maatschappij te komen. En las ik NU kijk, dan is het allemaal weer plusjes, een vaste baan in het verschiet. Ja, daar is door de ambtenaren bij de gemeente al een opmerking over gemaakt, ze zeggen ‘hoe krijg je het voor elkaar jongen. Nou ik vind het heel knap hoor, heel knap.’ En dat vind ik wel fijn om dat van die mensen te horen.” ‘Ik was wel trots dat ik gebeld werd om de sleutel op te halen en het participatiehuis open te maken voor je. Mijn zoon die zei ‘moet jij dat doen, helemaal alleen?’ Ik bedoel het is wel het huis van een ander… van de gemeente en alles ligt hier zo voor het oprapen.. Het is wel een kwestie van vertrouwen, en daar ben ik heel trots op.”

16. Conclusie • Door de deelname aan een project, verandert er iets in de mogelijkheden van de cliënt (capabilities) • Op basis van die mogelijkheden maken zij bepaalde keuzes (choices), en hoewel die keuzes per individu verschillen, is een vijftal mechanismen doorslaggevend: • Maatwerk (aansluiting bij wensen en mogelijkheden); • Materiële opbrengsten (en sancties via WWB); • Succeservaringen en observerend leren (via nieuwe contacten, lotgenoten); • Relatie met de begeleider; • Belemmeringen oplossen;