Etik, evidens och transparens

1. Etik, evidens och transparens Knut Sundellknut.sundell@socialstyrelsen.sewww.evidens.nuwww.prevention.se

2. ”Det finns exempel på hållande som pågått upp till 5-6 timmar. Åtgärderna används i nödsituationer men uppges också vara en nödvändig del i behandlingen. Barnen eller ungdomarna ber ibland själva om att bli hållna, men ibland vill de också bli frisläppta ur det grepp som används. Detta sker dock inte förrän barnet eller ungdomen blivit lugn och en ögonkontakt etablerats”

3. Ineffektiva eller skadliga metoder • Nedläggning / kontroll-tagning / ”Dörrning” • Sorgeterapi för normal-fungerande personer • Critical incident stress debriefing • Helordsmetoden vid läsinlärning • Spädbarn ska sova på magen • Anatomiskt korrekta dockor för diagnos av sexuella övergrepp mot små barn • Attachment-terapi (holding och rebirthing) • D.A.R.E / Våga • ”Scared straight” • Boot camps • Psykodynamisk behandling av autism • Gruppinriktade insatser för kriminella ungdomar • Återskapande av minnen (hypnos) • Ljusterapi

4. Metoder vars värde är oklara Miljöterapi Utredningslägenhet Värstingresor Familjecentraler Skolervice-enheter Charlie Barnahus SKÅ-modellen Alby-modellen Farsta-modellen Hassela-modellen Kälvestens-metoden Kontaktperson/-familj Hallstahammar-modellen

5. Elever med ofull-ständiga betyg (Skolverket, 2006) Grundskolan = 25% (40% elever med utländsk bakgrund) Gymnasiet = 20% (25% elever med utländsk bakgrund)

6. IMS VISION En evidensbaserad praktik i socialt arbete, hälso- och sjukvård, pedagogik, psykiatri, brottsförebyggande verksamhet osv

7. EVIDENSBASERAD PRAKTIK(Haynes et al, 2002) Situation och omständigheter Profesionell expertis Klienters erfarenhet & önskemål Bästa evidens

9. Ni förstår säkert att vi inte kan bevisa att behandlingen är värdelös innan vi har testat den i 15 år?

10. VAD ÄR EVIDENS?

11. Experters utlåtanden, samlade bedömningar, brillianta insikter och skarpsinniga antaganden är ofta vilseledande. J. C.Stanley (1957) Expert opinions, pooled judge-ments, brilliant intuitions, and shrewd hunches are frequently misleading J. C.Stanley (1957)

12. Intern validitet Hög trovärdighet att förändringar beror på insatsen och inget annat (jämförande studier, före- och eftemätning) Extern validitet Effektiva i vardagsarbetet (flera oberoende studier med samma resultat)

13. Kumulativ andel med nya insatser(Sundell & Vinnerljung, 2004)

14. Scientific Methods Scale(Sherman m fl, 2002) Scientific Methods Scale(Sherman m fl, 2002) (5) Randomisering mellan behandling och jämförelse (4) Före – eftermätning med jämförelsegrupp och kontroll för andra förklaringar (3) Före – eftermätning med jämförelsegrupp (2) Före – eftermätning utan jämförelsegrupp (1) Sambandsstudie vid ett tillfälle Sämst - - - - - - - - - Bäst

15. Andel av insatser som framstod som säkerställt effektiva(Weisburd m fl, 2001) 37% 61% 66% 74% 80% (5) Randomisering (4) Jämförelsegrupp med stat kontroll (3) Jämförelsegrupp utan stat kontroll (2) Före – efter utan jämförelsegrupp (1) Sambandsstudie vid ett tillfälle Sämst - - - - - - - - - Bäst

16. www.evidens.nu

17. Beskrivningen innehåller: Målgrupp - Föräldrar till barn mellan tre och elva år som ofta bråkar eller hamnar i konflikter. Syfte - Att öka föräldrars positiva samspel med sina barn och förändra föräldrarnas förhållningssätt. Genomförande - Elva tillfällen med videovinjetter, rollspel, hemuppgifter och skriftligt material. Utbildning -Handledarutbildning av Stockholms stad. Effekter –Medelstarka effekter (andel med allvarliga problem minskar med 46%) Evidensstyrka -Medelhög tillförlitlighet (Lovande) Kontakter -www.kometprogrammet.se

18. Gradering Starkt veten- skapligt stöd Vetenskap- ligtstöd Lovande Ingen effekt Okänd effekt Skadlig ? ?

19. VAD ÄR EFFEKTIVT?

20. Det ”sociala” arvet och skolan Michael Rutter – ”15 000 hours” (1979) Skolor med elever från SES 1 lyckas bäst, sedan SES 2 och sist SES 3 Det fanns skolor med elever från SES 1 som lyckades sämre och de med elever från SES 3 som lyckades bättre Skolor med bättre resultat – oberoende av vilken SES eleverna representerade – hade vissa kännetecken: • Pedagogiskt aktiv rektor • Uppfattningen att elevernas utveckling berodde på skolan och inte det ”sociala arvet” • Fokus på akademiska färdigheter • Tydliga normer • Samarbete hem-skola • Positiv uppmärksamhet

21. Ökning i läsförmåga per läsår (Alexander m fl, 2001) Förändring under läsåret Förändring under sommarlovet

22. Förändring i läsförmåga under sommarlovet (Alexander m fl, 2001)

23. Ökad läsförmåga årskurs 1 – 5 (Alexander m fl, 2001)

24. Effektstorlek: mått på påverkan Genomsnittlig effekt av olika interventioner 37% skillnad 0.8 Stor Förväntad utveckling utan skolundervisning 24% skillnad Medel 0.5 10% skillnad Liten 0.2 0

25. Det som bidrar till elevers resultat(Hattie, 2008) Effektstorlekar Baserat på mer än 800 metastudier omfattande 50 000 studier där mer än 80 miljoner elever har ingått Reservation: • Främst forskning från Nordamerika och Storbritannien – gäller resultaten även för Sverige? • Slår ihop ”äpplen och päron” • ”garbage in – garbage out” • Vad är jämförelsegrupp? • Gäller resultaten för ALLA eller finns det grupper som avviker? .................... 0,40 .......... 0,31 ........................... 0,23 ….…..... 0,45 ….…………... 0,49 ... 0,44 Eleven (t ex tidigare kunskap) Hemmet (t ex föräldrars förväntningar) Skolan (t ex klasstorlek) Läroplanen (t ex helordsmetoden) Läraren (t ex lärarutbildning) Pedagogiken (t ex individualiserad underv.) ”Allt” spelar roll

26. Effekter: ELEV och HEM (Hattie, 2009) Elevens tidigare kunskaper 0,67 Socioekonomisk status 0,57 Föräldrarengagemang 0,51 0.8 Stor Elevens koncentration 0,48 Elevens motivation 0,48 Medel 0.5 Erfarenhet av förskola 0,45 Elev använder ej droger 0,33 Liten Elevens personlighet 0,19 0.2 Elev = flicka 0,12 0 TV-tittande -0,18

27. Effekter: SKOLAN och LÄRAREN (Hattie, 2009) Lärare får video-feedback på sin undervisning 0,88 0.8 Stor Klasskamrater 0,53 ”Classroom management” 0,52 Lagom stor skola 0,43 Medel 0.5 Lärares höga förväntningar 0,43 De-segregering 0,28 Handikappade integrerade 0,28 Liten Mindre klasstorlek 0,21 0.2 Nivågruppering 0,12 Lärarutbildning 0,11 0 Lärares ämneskunskap 0,09 Åldersblandade klasser 0,04 Sommarlov -0,09 Kvarsittning -0,16 Skolbyten -0,34

28. Effekter: LÄROPLAN och PEDAGOGIK (Hattie, 2009) Direkt undervisning (direct instruction) • Klargör vad elevens ska lära sig • Lär ut stegvis och exemplifiera • Kontrollera att eleven förstått • Låt eleven öva under lärarens tillsyn • Successivt allt självständigare övning och tillämpning Utvärdering av lärare 0,90 Feedback till elever 0,73 0.8 Stor Fonetisk träning vid läsinlärning 0,60 Direkt undervisning 0,59 Medel Social träning 0,40 0.5 Time-on-task 0,38 Skriftliga test 0,34 Läxor 0,29 Individualiserad undervisning 0,23 Liten 0.2 Undervisning via arbetslag 0,19 Problembaserad inlärning 0,15 0 Mentorskap 0,15 Motorisk träning vid läsinlärning 0,08 Helordsmetoden vid läsinlärning 0,06 Elev bestämmer inlärning 0,04

29. Svenska pedagogiska reformer / rekommendationer 0.8 Stor Medel 0.5 Individualiserad undervisning 0,23 Liten 0.2 Undervisning via arbetslag 0,19 Problembaserad inlärning 0,15 0 Mentorskap 0,15 Motorisk träning vid läsinlärning 0,08 Helordsmetoden vid läsinlärning 0,06 Åldersblandade klasser 0,04 Elev bestämmer inlärning 0,04

30. 10 skolinsatser som förbättrar elevers resultat(Hattie, 2008) …..……..…..…... 0,90 ............................. 0,88 ...................................... 0,88 ................. 0,80 ................ 0,77 .................................................... 0,75 0,74 ....................................................... 0,73 .................................... 0,72 ..................... 0,71 Strukturerad utvärdering av enskilda lärare Lärare får video-feedback på sin undervisning Snabbare undervisning för snabba elever Insatser som minskar störande beteenden i klassrum Omfattande stöd till elever med inlärningssvårigheter Lärare är tydlig i sin undervisning Undervisning med frågor, klargöra otydligheter och summera Feedback från lärare till elev Goda relationer mellan elever och lärare Undervisning utspridd i tiden, ej endast ett tillfälle

31. Flera resultat (Hattie, 2009) Kvalitet i undervisning Relation elev-lärare Feedback Direkt undervisning Många läxförhör etc Metakognitiva strategier 0.8 Stor Undervisning 0,68 Läraren som aktiverare 0,60 Medel 0.5 Individualiserad undervisning Problembaserad undervisning Internetbaserad inlärning Helordsmetoden Mer resurser Minskad klasstorlek Åldersblandad klass Nivågruppering Läraren som möjliggörare 0,17 Liten 0.2 ”Formella” förutsättningar 0,08 0

32. Slutsatser (Hattie, 2008) Läraren är den viktigaste för inlärning Lärare ska vara styrande, tydliga, engagerade och bry sig om eleverna Lärare måste bli medveten om varje elevs aktuella kunskap och sätt att tänka och anpassa undervisningen efter detta Lärare måste vara klar över målen och hur de kan avläsas samt se nästa steg är för att minska skillnaden mellan målen och elevernas aktuella kunskap Lärare behöver använda fler än en metod Skolledare och lärare måste skapa en skola, personalrum och klassrum där misstag välkomnas som en möjlighet till inlärning Ej viktigt: Mer resurser Klasstorlek Vilka eleverna är Ämnet som undervisningen avser Arbetsvillkor för lärare och elever

33. Skolprogram mot alkohol och droger (Tobler, 2000) Effektstorlekar Ej interaktiva –betoning på information och känslor (skrämma) utan elevers aktiva medverkan Interaktiva –sokratisk stil, elever involveras aktivt, ofta träning av sociala färdigheter 0,00 0,19

34. Effektiva komponenter i föräldra-stödsprogram(Wyatt Kaminski m fl, 2008) Baserat på 77 utvärderingar av föräldrastödsprogram med fokus på barn i åldrar 0-7 år med beteendeproblem Exempelvis Cope, De otroliga åren, Komet, Triple P … ............................. 0,20 ……………..…0,44 ………..………………………..0,38 ………....……………………………… - 0,25 …..….… - 0,24 …..…………..…. - 0,21 ........................... 0,28 .................................................. 0,17 ………….………………………...0,33 ...............................................0,23 ….......... - 0,20 Förbättrade föräldrakompetenser Ökad positiv samvaro barn – förälder Lära föräldrar emotionell kommunikation Öva med det egna barnet Problem lösning Stödja barns kognitiva/skolmässiga förmågor Arbete med föräldrars egna problem Barns minskade externaliserande beteenden Ökad positiv samvaro barn – förälder Lära föräldrar time-out Konsekventa föräldrar Öva med det egna barnet Träna att utveckla barnets sociala färdigheter Umgås och ha trevligt Uppmärksamma positiva beteenden Låta barnet styra lek Aktivt lyssnande Minska kritik och sarkasmer Hjälpa barnet hantera känslor Övning i verkliga situationer Omedelbar feedback till föräldrar

35. Att förändra ett arbetssätt

36. Exemplet Familjerådslag Kommunförbundets initiativ – Family Group Conference från Nya Zeeland Syfte • Utnyttja familjens ”dolda” kunskap • Engagera familjen (empowerment) Förväntningar • Bättre samarbete • Bättre och stabilare insatser • Bättre hjälp till barn och familjer

37. Implementeringen 10 kommuner väljs ut Utbildning startar Kommunförbundets stöd: • två dagars utbildning av socialarbetare • två dagars utbildning av samordnare • två fortbildningsdagar • en centralt placerad projektledare som stöd till de tio kommunerna Första FRS Kommuner bjuds in Projektet avslutas 1995 1996 1997 1998 Utvärdering startar Utvärdering klar

38. Lokal implementering Top-down (ej förankrat hos personalen) Oklart motiv (ord. arbete ej utvärderat) Oklar ledning (oklart mandat) Otillräcklig utbildning (pga personaloms.) Ej extra resurser Andra omfattande förändringar Snabbt tidsförlopp Implementeringens kvalitet var kopplad till antalet genomförda familjerådslag och personalomsättning.

39. Genomförda familjerådslag

40. Personalomsättning

41. Att tvätta händerna… • Ignaz Semmelweis (1818-1865) • Chef förlossningsavdelning • Samband obduktion av lik och barnsängsfeber • Spädbarnsdödlighet minskade drastiskt när vårdgivarna tvättade händerna • Upptäckt 1847 • Erfarna läkare tvättade händerna 2 ggr under 21 timmars ronder (Bartzokas, 1995) • Självrapporterad handtvätt bland läkare 73% -- faktisk 9% (Tibbals, 1995)

42. Angivna hinder mot handtvätt…(Grol & Grimshaw, 2003) • Hudirritation 81% • Glömmer bort 65% • Inga komplikationer 61% • Omöjligt att göra under arbetet 61% • Tidskrävande 50% • Ingen kontrollerar 50% • Sjukhuset saknar riktlinjer 49% • Ledningen är ointresserad 45% • Saknar evidens 43% • Saknar tvättställ 42%

43. Forskningskunskap om implementering Snabbt ökad kunskap Hälso- och sjukvård, psykiatri, socialt arbete, brottsförebyggande arbete, missbruksbehandling, marknadsföring… ”Implementeringsvetenskap” Låt det ske > hjälp det ske > få det ske Ej kokboks-recept

44. Tre faktorer för att hjälpa(Green m fl, 2006) Forskning om vad som fungerar Krav på förändring Organisa-tion för att sprida och utbilda

45. Definition implementering De procedurer som används för att införa nya metoder i en ordinarie verksamhet och att säkerställa att de metoderna används som avsett och med varaktighet.

46. Tidigaresynsätt Bra metoder sprider sig själva genom sin överlägsenhet Människor behöver bara upp-lysas för att idéer och metoder ska börja användas

47. Men i själva verket... Dåliga metoder sprids på samma sätt som bra Upplysning ingen garanti Utbildning leder bara ibland till förändring Nya metoder förändras ofta under implementeringen så att de inte fungerar

48. Motivera förändring genom utvärdering Underlättar implementering

49. Ett exempel från skolan Utvecklingsarbete 4 kommunala Stockholmsskolor Enkäter till: 1310 elever i åk 4-9 118 lärare Våren 2006

50. Andel som uppfattar att skolk är förbjudet