190 likes | 333 Views
Evaluering og dokumentation - Tendenser og strategiske udfordringer. Primo Netværksgruppe 18. Juni 2007 Tim Jeppesen, direktør. KREVI. KREVIs organisation. Bestyrelsen (6 personer) Partner Lisbeth Binderup, Lundgaard Konsulenterne, Formand Cheføkonom Jan Olsen, KL
E N D
Evaluering og dokumentation-Tendenser og strategiske udfordringer Primo Netværksgruppe 18. Juni 2007 Tim Jeppesen, direktør
KREVIs organisation • Bestyrelsen (6 personer) • Partner Lisbeth Binderup, Lundgaard Konsulenterne, Formand • Cheføkonom Jan Olsen, KL • Administrerende direktør, Kristian Wendelboe, Danske Regioner • Professor Jens Blom-Hansen, Aarhus Universitet • Kommitteret, Ib Valsborg, Finansministeriet • Afdelingschef Thorkil Juul, Indenrigs- og Sundhedsministeriet
KREVIs organisation • Finanslovsbevilling 10,2 mio kr. • 12-15 årsværk –som grundbemanding • 9 medarbejdere pt. • Indtægtsdækket virksomhed –flere medarbejdere • Indlånte medarbejdere –gennemtræk på den fede måde • Placering i Århus, sammen med IKAS
Peter Morten Tim Tanja Martin Camilla Stinne Anders KREVI
KREVIs opgaver, lov 548 Gennemføre evalueringer og benchmarking Rådgive offentlige myndigheder om evalueringer Indsamle nationale og internationale erfaringer med evalueringer Tjene som videns- og læringscenter ’Vidensproducent’ ’Rådgivningsorgan’ ’Vidensbank’ ’Rugekasse’
Udfordringer og tendenser Centralisering Decentralisering Decentraltledelsesrum og metodefrihed Synliggørelseaf kvalitet DokumentationogEvaluering Sammenlignelighedpå tværs Regelforenkling
Dokumentation Tro Indicier Beviser Virkeligheden Dokumentation
Evaluering • ’En systematisk vurdering af en indsats’ • Krav til metoder, datakvalitet, kildekritik • Vurderingskriterier • Indsats = konkrete fænomener • Mange formål!
Dokumentation og evaluering Dokumentation ↨ Evaluering
Indikatorer • En del af en generel tendens til kvantificering • En variabel og en måling, måske et mål • Fordele • Målingerne er objektive og neutrale • Transparente og sammenlignelige • Kvalificerer brugervalg • Giver incitamenter • Standardiserings- og ensretningsdynamik
Indikatorer • Ulemper • ’… kan derimod ikke i sig selv anvendes til at vurdere effekter, være bestemmende for fremtidig udvikling, danne grundlag for beslutninger om ressourceallokering og vurdere kvalitet’ (Burt Perrin) • Utilsigtede virkninger • Forudsætter at det kan måles
Erfaringer med Comprehensive Performance Assessment (CPA) • Kommunerne scorer bedre og bedre • Gode anmeldelser • Borgernes tilfredshed med kommunen falder • Problemer • Dårlige indikatorer • Måler vilkår frem for præstation • Aggregering forvirrer • Strategisk adfærd
… men det er da bedre at have nogen målinger frem for ingen… (?) • Ja, afgjort, men… • Målinger tager tid, og er det umagen værd? • Utilsigtede virkninger
… men hvad så? • Kvantitative målinger kvalificeres med kvalitative, og omvendt • Evalueringer • Virkningsevaluering • BIKVA • Kompetenceevaluering • Observationsstudier
Og hvad skal kommunerne gøre? • Dokumentations og målingskrav kan (altså) godt vurderes før implementering • Brug indikatorerne til det de er gode til • Gør det – og gør så heller ikke mere • Start med at nyttiggør den viden der er i dag • Gør dem lokale og specifikke • Måle kvalitet? • Kvalitative metoder ikke til at komme uden om • Dyre men dejlige –strategi nødvendig
Måling dokumentation og risiko • Synliggør risiko • Ekspliciterer implicit information • Men hvad med det der ikke måles? • Målefejl • Måling og dokumentation som et kultur-projekt • Evalueringskapacitet