Utvärderingsmonstret

1. Utvärderingsmonstret Lena Lindgren 5 september 2014

2. Agenda • Hur märks utvärderingsmonstret? • Drivkrafter • Kvalitetsmätning, en form av uppföljning • Nyckelbegrepp (kvalitet, resultat, indikator) ---------------------------------------------- • Grundmodell för kvalitetsmätning • Problem som ofta uppstår • Möjlighet 1: Håll isär kontroll/utveckling. • Möjlighet 2: Tänk efter mer före. • Möjlighet 3: Ta bort skiten!

3. Hur märks utvärderingsmonstret?

4. Drivkrafter • Från regler och procedurer till fokus på kvalitet och resultat. • Modern kvalitetsteknik inom industrin. • IT-utveckling med gigantiska möjligheter att lagra och kommunicera ett ett ökat flöde av information. • New Public Management-tänkande, inkl. mätsystem, kundorientering och kundval. • Privata driftsformer kräver ökad granskning i en omfattning som inte förutsågs – och som vi ännu inte sett slutet på. • SOU 2013:53 om tillsyn och kontroll på hälso- och sjukvårdens område

5. Nästan alla drabbas….

6. Socialtjänstens utvärderingsarena

7. Allra mest intressant … • Expertgruppen för kvalitet i välfärden ”Företagen inom vård, skola och omsorg bör arbeta för att sätta branschstandarder för god kvalitet, i samarbete med övriga aktörer där det är tillämpligt” (min kurs.) ”Särskild oberoende organisation utanför det egna företaget för att ta emot klagomål, etc. • Webbportaler EuroHealth Consumer Index Omvård.se Doktorsguiden

8. Kvalitetsmätning, en form av uppföljning • Uppföljning, görs löpande enligt fasta rutiner för att övervaka hur en verksamhet utvecklas i vissa bestämda avseenden. • Data som används är normalt kvantitativ, hämtas från administrativa datakällor och/eller regelbundna enkätundersökningar. • Jfr. systematisk uppföljning enl. SoS som grund för kvalitetsarbete. • Utvärdering, ”the determination of the worth or value of something, judged according to appropriate criteria, with those criteria explicated and justified” (Scriven). • Data som används bestäms från fall till fall. • Internationell utveckling ”from studies to streams”.

9. Kvalitet – ett ord vi inte verkar få nog av • Kvalitet som kan mätas standardiserat blir allt viktigare, inom allt fler politikområden. • Men vad är kvalitet? • Vad menar de som säger att kvaliteten ska öka? Vad mera exakt är det som ska öka? Vad ska minska? • Ordet används som om det vore självklart vad som avses. Det tas för givet att det finns något värdefullt, objektivt och vetbart som kan kallas kvalitet.

10. Emily Dickinson om kvalitet som en känsla När jag läser en dikt och håret reser sig på mitt huvud, då vet jag att den dikten är bra.

11. Kvalitetsteknikinomindustrin • Kvalitetsbegreppet i offentlig sektor har utvecklats mer eller mindre som en spegling av utvecklingen i den privata sektorn. • Frånvaro av fel, följsamhet till till på förhand bestämda procedurer samt vikten av att basera beslut på fakta. • Produktens/tjänstens lämplighet för användning – ”fitness for use”. • Vikten av ledarskap, de anställdas ansvar och engagemang för ständig förbättring. • Kundnöjdhet. • Kvalitetsbegreppets fokus har över tid har vidgats till att omfatta hela den organisatoriska process som krävs för att producera en produkt/tjänst.

12. Ett vanligt sätt att förstå kvalitet • Kvalitet = någontings (en verksamhets) beskaffenhet eller önskvärda egenskaper som kan bo i alla led av verksamheten. Jfr tygers kvalitet. • Resurs-/strukturkvalitet = vad verksamheten har • Processkvalitet = vad verksamheten gör • Resultatkvalitet = vad verksamhetens målobjekt får • Jfr byggstenar i programteori • Kvalitet i fht resultat – begreppslig förvirring i svensk förvaltningsprosa? • Jfr engelskans performance ”The quality of actions being performed and/or the quality of what has been achieved through those actions”

13. Resultat • I affärsvärlden – finansiella resultat, generera vinst, marknadsandelar. • I offentliga sektorn – vad som görs, vad det leder till och till vilken kostnad? • Allt som kommer ut ur en verksamhet. De prestationer som myndigheter åstadkommer och de effekter som prestationerna leder till. • Effekter i form av ett uppmätt tillstånd hos målobjektet. • Effekter som en effekt av verksamhetens prestationer. • Vad värderas i termer av effektivitet? - Produktivitet (efficency) - Effektivitet (måluppfyllelse) - Kostnadseffektivitet (cost-effectiveness)

14. Kvalitets- och resultatindikatorer • Indicium i juridik – typ av bevis som indirekt kan bevisa något. • Jfr evidens i juridik – bevis bortom rimligt tvivel. • Indikator, ett observerbart, indirekt mått som används för att referera till ett något då inget direkt mått finns tillgängligt. • Sven-Eric Liedman om mått som äkta kvantiteter och indikatorer som pseudo-kvantiteter • En indikator kan aldrig vara ett objektivt mått på kvalitet. • Viktigt men svårt (eller omöjligt) med valida indikatorer. Vad ska räknas som kvalitet/resultat? Hur ska egenskaper göras mätbara? • Vem ska bestämma det?

15. Kvalitetsmätandets ideala programteori

16. Men djävulen döljer sig i detaljerna

17. Kvalitetsmätandets problematiska programteori

18. Problematiska förutsättningar • En främmande ”management-diskurs”, eller inte längre? • Att mäta kvalitet hos tjänster är något annat än varor. • Bilar av märket Toyota Yaris av en viss årsmodell är identiska, men men inte morgonsamlingar i förskolan eller behandlingar i vården. • Tjänster kan inte som varor produceras, kontrolleras, lagras och tas fram när en kund uppenbarar sig. • Bilar och andra varor lider inte, känner ingen smärta, mår illa eller känner oro eller ångest. • Tjänsters kvalitet påverkas i mycket högre grad än varors av hur man får den, inte bara vad man får.

19. Oklara mål och målträngsel skapar konstruktionsproblematik • I föreskrifter och allmänna råd för systematiskt kvalitetsarbete ses kvalitet som synonymt med måluppfyllelse. • Välja aspekter av mål som ska mätas, t.ex. trygghet i äldreomsorg. • Teoretiskt definiera trygghet. • Finna synliga och mätbara uttryck för trygghet (operationalisera). • Bara det mätbara mäts • ”Diffusa mål blir inte klarare bara för att de bryts ner” • Målträngsel inom de flesta områden, t.ex. i skolan finns 950 mål men det som mäts är betyg, resultat i nationella prov och PISA.

20. Göteborgs universitets Vision 2020 • ”Med kvalitetsdriven forskning, utbildning och samverkan i en inspirerande miljö, uttalat samhällsansvar och globalt engagemang bidrar Göteborgs universitet till en bättre framtid” • Varje fakultet och institution ska med utgångspunkt i visionen formulera lokala mål, verksamhetsplaner och handlingsplaner för sitt arbete med forskning, utbildning respektive samverkan. • Uppföljning av dessa mål och planer ska vara ett regelmässigt inslag i alla institutioners och fakulteters arbete.

21. Osäkra effektmått • Sällsynt att uppföljnings/kvalitetssystem adresserar effektfrågan. • Kausalitet mellan struktur/process- och resultatindikatorer tas för given. • Angeläget att kunna dra slutsatser om samband när mätresultat används som grund för verksamhetsutveckling. • Problematiskt att hålla någon resultatansvarig, om resultatet beror på faktorer i omvärlden. • Öppna jämförelser som till stor del förklaras av befolkningssammansättning. • Data hämtas från ett stort antal datakällor, uppbyggda för andra ändamål. SoS hälsodataregister, kvalitetsregister, Vårdbarometern, patientenkät, väntetidsdatabasen, SCB:s ekonomistatistik, SKL:s verksamhetsstatistik.

22. Skiftande tolkningar och kreativ bokföring • Vad är en patient? • ÖJ om kokmöjligheter, delaktighet i upprättande av genomförandeplan. • För att få betyget A i hem- och konsumentkunskap i åk 9 ska eleven: ”kunna föra välutvecklade och väl underbyggda resonemang kring konsekvenser av olika konsumtionsval och handlingar i hemmet utifrån frågor som rör en hållbar social, ekonomisk och ekologisk utveckling”, • Strategiskt beteende, ”gaming” - skolor som väljer bort besvärliga, lågpresterande elever - kirurger (i USA) som undviker att operera högriskpatienter - Zarembas artikelserie i DN 2013.

23. Diffus men också betydande användning • Det är en stor skillnad mellan att ha kvalitetsinformation och faktiskt använda sig av den. • Jfr ÖJ som tar användning för given, liksom EBP till en början. • Mätandet får lätt karaktären av en procedur eller ritual som görs för att sådant ska göras i en modern effektiv organisation. • Men användning triggas av olika sociala mekanismer. High-stake/low-stake , naming and shaming, star-rating. • Jfr PISA.

24. Perversa bieffekter • Icke avsedda effekter som är perversa, dvs. rakt motsatta de förväntade. • Indikatorfixering, ”teaching to the test”, måtten blir mål • Ingen patient behöver vänta mer än två år, men ingen väntar mindre än så. • Ambulansköer utanför akuten för att försäkra läkarmöte inom 4 timmar. • Lärare inriktar sin undervisning på det som mäts i nationella prov på bekost- nad av ämnesöverskridande studier och ”kreativitet” som inte går att mäta. • Nivellering mot genomsnittet Kommuner som tycker det räcker att ha genomsnittlig kvalitet i äldreomsorgen. • Standardisering, innovation och kreativitet som hämmas.

25. Panopticon ”If you know that others are watching your silhouette, then you are highly likely to spend your time watching your shadow” shadow” • ”Auditee mentality”, ”Performativity” • Verksamheter gör sig granskningsbara.

26. Avprofessionalisering • Organisationsvärden prioriteras när kvalitet styrs utifrån och uppifrån. • Professionsvärden tonas ner när kvalitet bygger på fortlöpande intern kontroll och utgår från tillit till den professionella. • Det finns en motsats mellan diskretionärt beslutsfattande som utgår från professionsvärden och icke-diskretionärt beslutsfattande som styrs av regler, förordningar – och kvalitetsmått. • När kvalitetssystem som utgår från organisationsvärden etableras och används kan professionella reagera med misstro och kanske börja tvivla på sin egen professionalitet. • Kvalitetsmått kan m.a.o. hämma professionaliteten i en verksamhet.

27. Avprofessionalisering, forts ”Till Kerstin Trollhagen, den bästa lärare mina barn Simon och Hannah någonsin kunnat få, för hennes idoga men skeptiska strävanden att dokumentera deras lärande i individuella. Andra duktiga och engagerade lärare på Kålltorpsskolan har med tiden ersatt Kerstin, bl.a. Annika Torarp och Dan-Olof Lindqvist. De tillägnas också denna bok.”

28. Möjlighet 1: Håll isär granskning för kontroll och verksamhetsutveckling Enligt forskning om granskningars funktioner och dysfunktioner: • Granskning (ss i form av mätning) leder till utveckling i ”high-stake” situationer där det finns en tydlig och känd koppling mellan resultat och konsekvenser. • De granskade reagerar naturligt med följsamhet till de indikatorer som mäts (”single-loop learning”). Leder till standardisering och att det som mäts blir gjort. • Men samtidigt främjas ”performativity” (manualbaserat arbete) och ”double-loop learning” (omprövning, nytänkande) drivs ut.

29. Möjlighet 2: Tänk efter mera före • Policys (reformer, program, metoder) är lösningar på sociala problem som behöver lösas eller förbättras. • Ett policyproblem är aldrig entydigt ”as if problems sit outside the policy process, waiting to be addressed and fixed.” • Hur ett policyproblem framställs får konsekvenser för hur man ser på dess lösning. Jfr Björklunds skolreformer. • Tänk på utvärdering som en möjlig lösning på ett policyproblem. • Vad ska utvärderingen lösa? • Hur kan utvärderingen lösa policyproblemet? • Kan utvärderingen lösa policyproblemet? • Om så, hur bör utvärderingen genomföras för att lösa policyproblemet?

30. Möjlighet 3: Ta bort skiten! • ”We must ask ourselves just how much evaluation is necessary to improve the performance of schools and other public services.” • ”The dense and aggressive accountability industry has contributed to the erosion of public support for public institutions.” • ”Professionalism nedvärderas i den marknadsstyrda staten med sina enorma redovisningskrav.” • ” Quality, the most meaningsless and abused word of the past decade.” • Även om vi beaktar alla framgångsfaktorer om hur utvärdering bör gå till, så kan vi ändå inte vara säkra på att utvärderandet gör att verk- samheter utvecklas och politiker och ledare fattar bättre beslut.