Faglig refleksion og selvevaluering gennem effektmålingsredskaber

1. Faglig refleksion og selvevaluering gennem effektmålingsredskaber (Progressionsmålingsredskaber) Malene Arnfast Bruun, Københavns Kommune Martin Bæksgaard Jakobsen, New Insight

2. Program • Præsentation og program • Rammesætning • Tre slags progressionsmålinger, - med øvelse • Betydning for handleplan, - med øvelse • Betydning for faglig dialog og ledelse • Perspektiverne for progressionsmålinger

3. Rammesætning • Hvem er vi og hvorfor har vi behov for progressionsmålinger? • Hvad er progressionsmåling? • Gentagne målinger over tid på samme indikatorer • Indikatorer, der siger noget om slutbrugers tilstand eller kompetencer • Tilstand eller kompetencer, der ligger i forlængelse af en indsats (effekt/outcomes).

4. Tre grundlæggende forskellige kerner/forståelser • Objektiv funktion eller tilstand • Mestring af situationen • Forholden sig til/erkendelse af problem

5. Objektiv funktion eller tilstand • Bedømmelse af funktion eller graden af problem • Erkendbar af 3. person – den professionelle • Har sin berettigelse Eksempler: • Måling til opfølgning på politiske mål • Måling til myndighedens visitation og grundlag for budgettildeling

6. Mestring af situation: Eksempel Forandringskompas for borgere med handicap • Kompasset skal sætte fokus på indsatser, som giver borgerne en øget oplevelse af livskvalitet og selvhjulpenhed. • Forandringskompasset er et redskab som skal bidrage til at formidle og dele viden om hvilken virkning, borgerne får af de indsatser, vi i forvaltningen tilbyder. • Kompasset skal på den måde bidrage til at skabe viden og læring om effekten af indsatsen for borgerne • Mestringsperspektivets berettigelse • Når man ikke har en forandringsteori • Et løft af den faglige dialog på handicapområdet

7. Forandringskompas for borgere med handicapsom redskab Redskab for personalet • følge den enkelte beboers udvikling konkret • kvalificere den pædagogiske drøftelse af indsats • dokumentere udvikling / vedligehold • forbedre samtalen med beboeren Redskab for borger/pårørende • følge sin egen udvikling konkret • får dokumentationen visuelt • stille relevante spørgsmål til personalet om indsats, støtte m.m. • få større indflydelse på egen udvikling / hverdag • bedre mulighed for inddragelse af pårørende

8. Værdiskalaer?

11. Implementeringsaktiviteter

12. Forholden sig til/erkendelse af problem • Outcomes Star • Et redskab til både at understøtte og dokumentere udvikling hos borgere. • Et redskab, der bruges af medarbejder og borger sammen. • Bruges som integreret del af socialfagligt arbejde – og forbedrer det.

13. Outcomes Den forandring, der sker med borgerene Ikke output – dvs. ikke borgertilfredshed, kvalitetssikring, performance management, aktivitetsregistrering. Bløde og hårde outcomes FORHOLDEN SIG TIL!!

14. Outcomes Star/ Hjemløsestjernen

15. Baggrund Prototype udviklet af Triangle til St. Mungos i 2003 Revideret og første gang officielt udgivet i 2006 Bottom-up udviklet sammen med borgere, medarbejdere og ledere i 9 mdr.

16. Forandringsrejsen – eller den transteoretiske model 5 – Selvstændig/ uafhængighed 4 – Lærer/ Handler 3 – Tror/ Forberedelse 2- Accepterer hjælp/ Erkendelse 1 – Fastlåst/ Før-erkendelse

17. Reflektionsrum • Finde 7-8 ’reflektorer’ med borgerkontakt eller –kendskab (case) • Del op i 7-8 grupper • 3-4 grupper arbejder med progressionsmåling ud fra mestring • 3-4 grupper arbejder med progressionsmåling ud fra forholden sig/erkendelse

18. Øvelse i at score… • ’Reflektor’ repræsenterer en borger (rollespil?) • Udfyld hhv. Kompas eller Outcomes Star på 2-3 dimensioner. • Fysisk helbred, sundhed • Psykisk helbred, trivsel og tryghed • ?? • Fælles opsamling

19. Opsamling på score-øvelse • Hvordan er det at sætte tal på et menneske? • Datasikkerhed – validitet og reliabilitet? • Hvad kan man måle med de to/tre redskaber? • Hvori består de respektive udfordringer?

20. Erfaring med Kompas • Fra synsning til faglig vurdering og observationer • Styrker notater og skriftlighed i det hele taget • Styrker daglig fokus på formål med indsatsen • Udbreder kendskabet til borgeren • Mindsker blinde pletter • Gør kritik mere faglig og mindre personlig • Nødvendigt med kompleksitet, men det er svært • Udfordring når progression ikke er mulig eller hvor det kun kan gå tilbage • Scoren, er det kompromis eller konsensus?

21. Erfaringer med Outcomes Star • Opfanger de meget små fremskridt – de 80 % • Differentiering af en meget homogen masse • Validitet og reliabilitet • Kræver: • faglig og personlig indsigt • regelmæssig kontakt • rum for egentlig socialt arbejde • god tid til samtale • Refleksion over og øvelse med scoring

22. Erfaringer med handleplan i OS • OS giver et udgangspunkt for dialog om problemer og muligheder. • Strukturerer og prioriterer en samtale • Illustrere eller usynlige fremskridt. • Målrette indsatser (bestillinger)

23. Datarapporter til faglig dialog og ledelsesdialog Eksempel fra Københavns Kommune • Fra tal til fortællinger • Ledelsesdialog • Brugerstatusrapporter, - gruppebillede • Forandringsrapporter

24. Udvikling i Materiale og Produkter gennem ledelsesdialogen Centerledelserne og centerchef-kredsen med DU Datarapporter og fortællinger Målgruppe og Direktion Analyser og læring fra fortællingerne Afdelingsleder ogTilbudsleder Datarapporter

25. Ledelsesopgave i forhold til den årlige rapportering Afdelingsledere og tilbudsledere • Opgave: Faglig dialog om effekt, på yderste niveau. • Rapportering: Den gode historie og det lærende eksempel. Centerledelse • Opgave: Strategisk ledelsesdialog i relation til centeret. • Rapportering: Læring, overvejelser og eventuelle initiativer. DU og Centerchefkredsen • Opgave: Strategisk ledelsesdialog i relation til handicapområdet. • Rapportering: Læring, overvejelser og eventuelle initiativer på tværs. Målgruppemøde (DIR,DU,MY,Tværgående) • Opgave: Gensidig Orientering

26. Brugerstatusrapport

27. Tilbud 1 Profil af to borgergrupper. Er det en bekræftelse af målgrupperne for de to tilbud eller er der også overraskelser i forskellene? Tilbud 2

28. Forandringsrapport

29. Tilbud 1 Tilbud 2

30. Spørgeguide til refleksion over Brugerstatusrapporten, som viser den aktuelle kompasscore for borgerne tilknyttet tilbuddet, - et kompasgruppebillede. • Hvordan stemmer gruppebilledet overens med jeres målgruppebeskrivelse og jeres forventning? • Er der noget I undrer jer over eller som overrasker?

31. Spørgeguide til refleksion over forandringsrapporten, som viser forandringen for den samlede gruppe af borgere og i relationen til teamets samlede indsats – teamorienteret • Hvilke faglige indsatser har der været på afdelingen som helhed? • Har det afspejlet sig i brugernes/borgernes scoringer? • Er der noget, som har overrasket jer, eller som undrer jer, i det billede som scoringerne viser? • Den gode historie: hvad kan i særlig grad fremhæves som effektfulde indsatser? • Behov for udvikling: Hvor er det svært at spore en effekt af indsatsen? Hvor ser det derfor ud til at der er behov for udvikling? • Hvad kunne det give anledning til af initiativer i centeret?

32. Lederopgaven Strategiske drøftelser på baggrund af: • Tilbuddenes bearbejdning af data • Den gode historie fra afdelinger og tilbud • Behov for udvikling fra afdelinger og tilbud Spørgsmål til drøftelse i centerledelsen: • Hvad ved vi? Hvad viser data? Hvad har vi undret os over? Er der noget vi vil holde øje med? • Hvad har vi fået af ideer til læring på tværs, fælles udfordringer mv.? • Hvad gør vi? Er der initiativer vi selv kan tage i centeret? Er der noget, vi skal bringe op mellem centre? • Har vi noget viden, som skal udbredes til andre?

33. Data fra Outcomes Star • Stjernen som grafik – individuel, aggregeret, filtreret • Tabelrapport og rådata • Fordeling af progression, regression, stagnation • Kobler progression til indsats – effekt.

34. Plenum refleksion • Hvad ser I som umiddelbare problemstillinger, når vi bruger aggregeret data?

35. Progressionsmålingsredskaber i fremtiden? • ”Vi ved fortvivlende lidt om, hvad der sker i den offentlige sektor” • ”Vi har brug for flere og bedre data, så vi kan holde de offentlige ledere ansvarlige” • ”I stedet for en masse regler…, er der brug for klare krav til, hvilke resultater de offentlige institutioner opnår” Peter Birch Sørensen Formand for produktivitetskommissionen Politiken, 10.0.13

36. Progressionsmålingsredskaber i fremtiden? Beskæftigelsesområdet – centralt progressionsmålingsredskab Sociale og psykosociale – ikke systematisk brug Specialområderne, fx autisme 36

37. Tak for i dag Malene: VN92@sof.kk.dk Martin: mbj@newinsight.dk