MODUL 3 – METODER OG PROCES

1. MODUL 3 – METODER OG PROCES Hvordan gennemføres et tilsyn i praksis

2. Modul 3 - indholdet • Krav til tilsynets udførelse og mulighed for valg af egne metoder • Anvendelse af forskellige tilsynsmetoder • Den praktiske planlægning og gennemførelse af et tilsyn • Indhold af tilsynserklæringen • Inddragelse af dokumentation i tilsyn • Inddragelse af andre oplysninger i tilsyn • Samarbejde med skolens aktører

3. MODUL 3 SKAL SÆTTE JER I STAND TIL AT • skærpe jeres bevidsthed om rollen som tilsynsførende • skelne mellem tilsyn/evaluering og undersøgelser • udvise genstandssensitivitet ift. den enkelte skoles ideologi/værdigrundlag/kontekst • vurdere hvilken viden/data I skal tilvejebringe for at kunne føre tilsyn med skolen • organisere tilsynet: hvem, hvad, hvornår, hvor ofte? • vælge metoder – og kende deres begrænsninger • anvende forskellige metoder i praksis • analysere og vurdere data • sammenfatte analyser og vurderinger • præsentere jeres resultater for forskellige aktører

4. Tilsynet Tilrettelæggelse af tilsyn Tilsynserklæring Gennemførelse af tilsyn Analyse af data

5. VIDENSDELING • Når man fører tilsyn, evaluerer man, om en skole lever op til kravene i bekendtgørelsen • Hvorfor er jeg tilsynsførende • – og hvordan ser jeg min rolle i forhold til skolens • Leder • Lærere • Elever • Forældre • UVM

6. KRAV TIL TILSYNETS UDFØRELSE OG MULIGHED FOR VALG AF EGNE METODER • § 9d: stk 1 • Den eller de tilsynsførende skal • Aflægge mindst ét årligt tilsynsbesøg på skolen • Overvære undervisningen i et omfang afstemt efter skolens størrelse • Overvære undervisningen inden for hvert af de fagområder, som folkeskolens fagkreds naturligt opdeles i • Drøfte indholdet af skolens undervisningsmateriales faglige og pædagogiske kvalitet

7. KRAV TIL TILSYNETS UDFØRELSE OG MULIGHED FOR VALG AF EGNE METODER • §9d stk. 2 • Den eller de tilsynsførendes overværelse af skolens undervisning skal have et omfang svarende til mindst én hel skoledag • Stk 3 • Skolen skal efter anmodning udlevere de oplysninger til den tilsynsførende, som er nødvendige for tilsynets gennemførelse

8. KRAV TIL TILSYNETS UDFØRELSE OG MULIGHED FOR VALG AF EGNE METODER • Stk. 4 • Den eller de tilsynsførende afgiver hvert år en skriftlig tilsynserklæring til forældrekredsen og skolens bestyrelse om tilsynet efter §9a, stk.1. • Er der blandt flere tilsynsførende uenighed om affattelsen af tilsynserklæringen, skal dette fremgå af erklæringen. Enhver tilsynsførende har ret til at afgive sit særstandpunkt i tilsynserklæringen. Tilsynserklæringen skal offentliggøres på skolens hjemmeside på internettet

9. KRAV TIL TILSYNETS UDFØRELSE OG MULIGHED FOR VALG AF EGNE METODER • Stk. 5: • Undervisningsministeriet kan fastsætte regler om formen for afgivelse af den tilsynserklæring, der er nævnt i stk. 4 • Stk. 6 • Skønner den eller de tilsynsførende, at elevernes standpunkt i et eller flere fag, jf. § 9a, stk 1, ikke står mål med, hvad der almindeligvis opnås i folkeskolen, eller at skolens undervisning ikke opfylder kravene i § 1, stk. 2,1 eller 2.pkt, fastsættes en kort frist, dog på mindst 3 måneder, til forbedring af forholdene…..

10. KRAV TIL TILSYNETS UDFØRELSE OG MULIGHED FOR VALG AF EGNE METODER • Valg af metoder • ingen fastlagte krav om metoder i lovgivningen • Forventninger til tilsynets omfang og kvalitet • kan de efterleves på ét besøg Summeøvelse 2 og 2 • Udfordringer ved at føre tilsyn • Muligheder ved at føre tilsyn

11. Hvorfor tilsyn / evaluering • Lovbestemte krav • om dokumentation • Forventninger • fra forældre / omverden • Muligheder • for at kvalificere skolens udviklingsprocesser og undervisning • som styringsredskab • for at skabe fælles sprog og refleksioner

12. KONTROL ELLER UDVIKLING • Refleksioner over evaluering og rollen som tilsynsførende • Kontrol / udvikling - enten/eller - både/og. • Drøft: • Hvordan skelner man mellem opgave/rolle som tilsynsførende og skolens opgave som dem, der træffer beslutninger/sætter aktiviteter i gang på baggrund af jeres tilsynserklæring.

13. FALDGRUBER I EVALUERINGSARBEJDE • Evaluering bliver et mål i sig selv • Et ritual/tidsrøveri • Forkert brug af metoder • Evaluering styrer fokus og indsats • Manglende ”rettidig omhu” • Andre…….?

14. ET TILSYN ER EN EKSTERN EVALUERING • En intern evaluering • er igangsat af skolen selv, evt. med ekstern hjælp. Den kan fx indeholde selvevaluering, forældreundersøgelse, interview. • Resultatet tolkes og formidles af skolen selvtil en målgruppe valgt af skolen • En ekstern evaluering (tilsyn) • kan inddrage resultater fra en selvevaluering, men vil også rumme andre undersøgelser fx spørgeskema, observationer og interview • Resultatet tolkes og formidles af evaluator til en på forhånd aftalt målgruppe

15. KRAV TIL TILSYNETS UDFØRELSE OG MULIGHED FOR VALG AF EGNE METODER • § 1. Friskoler og private grundskoler (frie grundskoler) kan inden for rammerne af denne lov og lovgivningen i øvrigt give undervisning, der stemmer med skolernes egen overbevisning, og tilrettelægge undervisningen i overensstemmelse med denne overbevisning. Skolerne afgør inden for de samme rammer frit, hvilke elever de vil have på skolerne.

16. TILSYNETS DIDAKTIK OG METODIK • Sætte sig ind i og forstå skolens formål, mål og metodik – og se indikatorer i praksis • Forholde sig kritisk og konstruktiv • Indgå i dialog med skolens aktører • Indgå i drøftelse af skolens evalueringer • At se ministerielle krav udmøntet • Hvad stiller det af krav til tilsynet?

17. Tilsyn er ekstern evaluering • "At evaluere betyder i al sin enkelhed at standse op midt i eller efter sine gøremål og vurdere, om resultaterne står i et fornuftigt forhold til hensigt og anstrengelser" (Albæk, 2001). • "Evaluering er en systematisk retrospektiv vurdering af gennemførelse, præstationer og udfald af offentlig virksomhed, som tiltænkes at spille en rolle i praktiske handlingssituationer" (Vedung, 1991).

18. NÅR MAN ER TILSYNSFØRENDE • må man være bevidst om sin særlige rolle/position • er man ekstern evaluator, men åben, nysgerrig og tillidsvækkende • må man tænke i kriterier (mål/krav) og indikatorer (tegn på at mål/krav er opfyldt) udledt af bekendtgørelsen og skolens konkrete målsætninger • må man kunne redegøre for sine metodiske og etiske valg • skal man indhente, producere, analysere, vurdere og formidle data der tilsammen illustrerer, hvordan en skole lever op til bekendtgørelsens krav • skal man redegøre for datas reliabilitet og validitet • skal man være bevidst om, hvordan man bedst præsenterer sit vurderingsgrundlag, sine metoder, data og vurderinger i en tilsynserklæring

19. SPØRGSMÅL • Fører man kontrol?

20. HVAD INDEBÆRER TILSYN / EVALUERING • Hvad er evaluering • Hvordan adskiller det sig fx fra undersøgelser/forskning/journalistik?

21. AT SE DET ØNSKEDE SKE • En indikator er et tegn som kan ses i den situation, I ønsker at opnå efter en given periode • Man skal kunne • - registrere • måle • eller vurdere det, indikatoren angiver

22. INDIKATORER - HVAD PEGER I RETNING AF, AT SKOLEN LEVER OP TIL KRAVENE • At der foreligger mål for den enkelte elev for nærmere fastsatte perioder? • At lærerne har udarbejdet planer, der viser hvordan de har varieret undervisningen? • At lærerne har ført notater vedr. deres refleksioner over arbejdet med mål for den enkelte elev? • At der anvendes forskellige materialer, organisering m.v. i undervisningen? • Eller ….?

23. Selvevaluering • Skolens profil • Undervisningens mål, tilrettelæggelse og gennemførelse • Elevens alsidige udvikling • Frihed og folkestyre • 10. klasse • Specialundervisning • Dansk som andetsprog • Elevens videre forløb i udannelsessystemet • Skolelederens kvalitetssikring og kvalitetsudvikling af undervisningen

24. Tilsynet Tilrettelæggelse af tilsyn Tilsynserklæring Gennemførelse af tilsyn Analyse af data

25. FORARBEJDET – HVAD SKAL I FOKUS • Hvad skal tilsynserklæringen kunne svare på (modul 2)? • Hvilke særlige forhold skal den tilsynsførende tage højde for/være særligt opmærksom på (skoletype)? • Hvilke data ligger lige for, og hvordan kan de bidrage til at fokusere tilsynet (fx prøveresultater, referater, opgørelser af timetal, selvevaluering, offentliggørelser på hjemmeside m.m.)? • Hvilke særlige indsatser/perioder/begivenheder skal den tilsynsførende medtænke i sin plan (undgå/overvære)? Hvad skal i fokus/evalueres?

26. DEREFTER SKAL I BESLUTTE • Hvilke spørgsmål skal besvares? • … fx bliver undervisningen tilstrækkeligt differentieret i faget dansk? • Hvad skal der til for at I kan svare på spørgsmålet? • … hvilke data, kriterier og indikatorer skal i spil? • Hvilke metoder kan give jer gode data? • … fx interview med lærere og observationer af danskundervisning • Hvem/hvad skal inddrages og hvornår? • … fx dansklærere, elever, ledelse, undervisningsmidler, referater fra teammøder, årsplaner, elevplaner

27. DET GODE SPØRGSMÅL Et godt evalueringsspørgsmål skaber fokus og retning ved at det: • tænkes ind i tilsynet fra start • præciserer hvad I vil holde øje med (indikatorer) • er specifikt, målbart og realistisk at få svar på • er relevant for tilsynets gennemførelse (ligger inden for jeres opdrag som tilsynsførende)

28. DATAPLANLÆGNINGSMATRICE

29. GRUPPEDRØFTELSE • Vidensdeling om hvilke forberedelser I gør til tilsyn

30. GENNEMFØRELSE AF TILSYN Tilrettelæggelse af tilsyn Tilsynserklæring Gennemførelse af tilsyn Analyse af data

31. FIRE KARAKTERISTIKA VED EVALUERING - VEDUNGS DEFINITION • Evaluering skal være systematisk. • Uden metode ingen evaluering. • Evaluering involverer en vurdering. • en bedømmelse - inddrager implicit eller eksplicit værdier. • Evaluering i offentlig virksomhed omhandler det offentlige anliggende. • Evalueringens genstand er såvel undervisningen som elevens udvikling og udbytte af undervisningen • Evaluering skal føre til praktiske handlinger. • et anvendelsessigte – griber formende og dannende ind og er med til at skabe virkeligheden. Evalueringskultur - et begreb bliver til , Dahler-Larsen 2006

32. EKSEMPLER PÅ METODER • Kvantitative undersøgelsesmetoder • Prøveresultater • Spørgeskemaer • Registreringer • Kvalitative undersøgelsesmetoder • Interview • Workshops • Observationer • Dokumentstudier • årsplaner, elevplaner, elevproduktioner) • Selvevaluering

33. ANVENDELSE – KVANTITATIVE METODER • Kvantitative metoder er gode, hvis man • Vil kvantificere – hvor mange %... – kunne være? • Vil søge svar på spørgsmål, der har begrænset svarmulighed – kunne være? • Vil søge statistiske sammenhænge – kunne være? • Kvantitative metoder er ikke gode, hvis man • Skal analysere komplekse problemstillinger • Ikke behersker værktøjet • Ikke har viden om området

34. ANVENDELSE – KVALITATIVE METODER • Kvalitative metoder er gode, hvis man • Vil udforske ukendte områder og identificere holdninger – kunne være? • Vil finde forklaringer – kunne være? • Vil fastlægge oplevelser og finde muligheder – kunne være? • Analysere komplekse problemstillinger med åbne svarmuligheder – kunne være? • Kvalitative metoder er ikke gode, hvis man • Vil lave kassetænkning og uddrage målbare slutninger

35. Det gode interview • Undgå antagelser • Væk sanser - hjælp den interviewede ind i den verden, han fortæller om • Udtryk ikke fordomme • Spørg mest med hv-ord • Stil både åbne og lukkede spørgsmål • Afbryd ikke • Lyt aktivt • Bevar kontrollen • Slut positivt

36. Det gode interview - konkret • Er rammesat – med tid og formål • Har tid til refleksion • Afdækker praksis • Har retning – ”..du sagde lige før….” • Har tydeligt fokus på sagen • Efterlader klare svar

37. Struktureret interview

38. TYPER AF SPØRGSMÅL • Lineære spørgsmål • får afklaret/defineret, hvad problemet er. • spørger er som detektiv - på sporet af facts. • Cirkulære spørgsmål • udforsker de mønstre, problemet indgår • spørger er som en opdagelsesrejsende • Strategiske spørgsmål • påvirker fokuspersonen direkte til at gøre noget bestemt • spørger er som en / lærer, der ved, hvad der bør gøres. • Refleksive spørgsmål • fremmer ændring indirekte • spørger er som en guide gennem en kreativ proces

39. GRUPPEDRØFTELSE • Du er i et interview med lærere i færd med at få afdækket, hvordan de tilrettelægger undervisningen, så den tilgodeser den enkelte elev, og lærernes konklusion er: ”Vi har ikke tid og plads nok til at lave en undervisning, der tager udgangspunkt i den enkelte elev!” • Hvad er de(t) gode spørgsmål for at få • Fokus på, hvad de så gør • Fokus på kriterier og tegn

40. Observationer • Kort interview/samtale med underviser før observation • Overvej, hvad observationerne skal bidrage til • Tilsynets rolle – passiv/deltagende? • Samtaler med elever – formål? • Brug af observationsskema? • Noter data – ikke tolkninger • Gennemskriv noter • Kort interview efter observation • Hvad vil I vide før – og efter?

41. Fra interview til data • Skriv stikord under interviewet • Sammenlign det med hvad du oplever • Prioriter • Fokuser • En præcis beskrivelse, hvor • Det står klart • Hvad er observationer • Hvad er tolkning • Hvad er vurdering

42. TRÆNING I INTERVIEWTEKNIK Hver gruppe består af tre personer: • En tilsynsførende • En skoleleder • En observatør Den tilsynsførende ønsker at interviewe skolelederen på Næstveds Lille Skole om, hvordan han sikrer, at eleverne får et udbytte af undervisningen, der svarer til det, der almindeligvis opnås i folkeskolen.

43. Undervisningsiagttagelse • Observation og vurdering • Arbejdsformer i undervisningen • Grad af elevinddragelse • Opdragelse til frihed og folkestyre • Differentiering • Undervisningens indhold. • Udviklingen af elevernes alsidige kompetencer i samspil med undervisningen. • Tegn på flow • …..

44. Mening, Nydelse og Effektiv læring Flow Flow Flow: Den naturlige balance mellem udfordringer og færdigheder (Knoop 1997 efter Csikszentmihalyi, 1991) 2003 Hans Henrik Knoop

45. FILMKLIP • Skolen har fokus på, at trygge læringsmiljøer, hvor læreren bl.a. gennem elevsamtaler får et stort kendskab til den enkelte elevs faglige, sociale og personlige udvikling og dermed kan differentiere sin undervisning, så alle er i flow, skaber fællesskaber, der er præget af frihed, tolerance og lærelyst. • Hvad er indikatorerne?

46. METODER: SMTTE • Bogstaverne i SMTTE står for: • Sammenhæng • Mål • Tegn • Tiltag • Evaluering

47. SMTTE – EN EVALUERINGSMETODE FOR TILSYN

48. Kvalitetsstjernen • Kvalitetsstjernens fem spidser repræsenterer hver af de elementer, der indgår i modellen. Udgangspunktet er en vurdering af status, en kortfattet beskrivelse af, hvordan situationen er nu på det pågældende område: Hvor langt er vi? Hvad har vi gjort hidtil? • Kvalitetsstjernen er - ligesom SMTTE et projektværktøj, der kan bruges til at skaffe klarhed over, hvor man er lige nu, hvor man ønsker at bevæge sig hen, og hvorfor.

49. Kvalitets-stjernen

50. MODEL TIL SELVEVALUERING PÅ SKOLEN