Automatisering av tester

1. Automatisering av tester Greta Hjertø Jarle Larsen Svend Andreas Horgen

2. Effektmål • Målet er å fremskaffe et grunnlag for å ta i bruk automatiserte tester ved AITeL, slik at: • de i størst mulig grad kan erstatte tradisjonelle prøver og eksamener • vi måler studentens faktiske kunnskap på en tilfredsstillende måte • lærerressurser til utvikling, gjennomføring og etterarbeid reduseres vesentlig i forhold til dagens praksis • studenten får et arbeidsredskap som motiverer og støtter i læringsprosessen • Øke forståelse for og kompetanse i bruk av automatiserte tester i høgere utdanning

3. Resultatmål • Identifisere en beste praksis gjennom • litteraturstudium • utvikling og utprøving av tester • analyse av testresultatene • syntese – beste praksis • Utvikling av verktøy med funksjonalitet basert på • litteraturstudium • resultater fra analysene • Formidling av resultatene • Paper til Educa Berlin (des 2005). Abstract april 2005. • Verktøy/prototyp, HiST, its L, andre? • Presentasjon for ansatte i HiST • Instruksjonshefte for å lage gode tester – legg ut på NVU-web? • Kanskje bidra i Høgskolepedagogikk-undervisningen

4. Presentasjon av resultater • Teorigrunnlag • Utprøving av teori • Utvikling av verktøy • Formidling av resultat • Foredrag • Paper • Rapport • Guide/oppslagsverk

6. Teorigrunnlag – litteratur • M. Bush: ”A Multiple Choice Test that Rewards Partial Knowledge”, Journal of Further and Higher Education, Vol. 25 no 2, 2001 • Sylvia Encheva, Sharil Tumin: “On multiple choice tests in a computer added assessment system” • W. Horton: Designing web-based training Wiley, 2000 • T. Buchanan: “Using the world wide web for formative assessment”, Jorunal of Educational Technology Systems, 27, 1998-1999

7. Automatiserte tester – beste praksis? • Valg av spørsmålstype • Formulering av spørsmål • Valg av tilbakemeldingsstrategi • Utforming av tilbakemelding Design test Forbedre test Gi test • Evaluer resultat • Spør studentene • Vurder test mot kursmål • Valg av teststrategi • Bygging av tester • Utforming av informasjon • Hindring av juks Gi skår • Valg av skårstrategi

8. Spørsmålstyper • Ja/nei • Flervalg – varianter • Fritekst • Sammenligne to lister • Fyll inn blanke • Klikk og dra • Simulering

9. Formulering av gode spørsmål • Enkle og komplette formuleringer, eksempel: • Pass på dobbelt nekting • Ikke la ja bety noe negativt • Ikke bruk pronomen • Ikke bruk understrekning, betyr lenke på Internet • La alle alternativer være like sannsynlige • Ikke avslør svaret • Varier vanskelighetsgraden

10. Effektive tilbakemeldinger – eksempel på design Start test Spørsmål Neste spørsmål Hint ? Tilbakemelding feil svar Tilbakemelding riktig svar Evaluer svaret • Når? • Hvem? • Innhold? Riktig svar Lenke til fagstoff ? Beregn skår

11. Effektive tilbakemeldinger

12. Valg av teststrategi • Skal studenten teste seg selv? • Skal lærer se hvordan studenten ligger an? • Skal lærer gi karakter? • Eksempel på bruk av tester • Selvevaluering • Obligatorisk test • Midtveiseksamen

13. Bygging av tester • Statiske / Dynamiske • Lærerstyrt / Studentstyrt • Eksempel på bygging: • Testen bygges når studenten ber om den • Testside, spørsmålssett velges tilfeldig fra pool • Hvis testen tas flere ganger, neste test har ny side med nye spørsmål og/eller svaralternativer • For hvert spørsmål, fem svaralternativer, ett riktig, ett vet ikke • Hvis ny test med nye svaralternativer – ett galt svar det samme • Studentens sider lagres • Alle versjoner sammenlignbare i vanskelighetsgrad og tema

14. Om å informere om testen Får jeg karakter? Hvilken del av pensum dekkes? Er det tidsbegrensning? Når må jeg ha tatt testen? Hvor mange spørsmål består den av? Hvor mange poeng får jeg for rett svar, feil svar ingen svar? Hva slags spørsmål er det? Kan jeg ta testen senere? Kan jeg ta testen flere ganger? Kan jeg avbryte og fortsette senere? Hvilke hjelpemidler kan jeg bruke? Når får jeg vite resultatet? Må spørsmålene besvares i sekvens? Hva skjer om jeg får tekniske problemer?

15. Informasjon til studentene • Testregler for kurset • Testside for hver test • Spesifikk informasjon for hvert spørsmål • Vanlige spørsmål og svar

16. Beregning av skår • Mål: Måle faktisk kunnskap • Hindre gjetting • Måle delvis kunnskap • Strategier: • Normalisering • Høy grunnverdi • Negative skår for feil svar • Hvor sikker er du? • Velg mer enn ett alternativ • Eliminer feil svar

17. Stadig bedre tester • Evaluer resultatet basert på statistikk • Spør studentene • Vurder mot kursets mål

19. Utprøving av teori • Kildemateriale – tester i flere fag til nå • Internett og Sikkerhet • Prosjektrettet systemarbeid • Kontorautomasjon • Webprogrammering med PHP • Visual Basic • BADR høsten 2004 • Analyse • Syntese

20. Utprøving av teori Kildemateriale Analyse Syntese

21. Utprøving av teori Teori Kildemateriale Analyse Syntese Verktøy Beste praksis

22. Hypotese 1 • Poengberegningen som brukes spiller inn på resultatet av tester • Poengberegningen må velges med omhu og tilpasses fagets egenart.

23. Kildemateriale hypotese 1 • Øving høsten 2004, BADR, it's Learning • Programmering • 75 studenter • 20 spørsmål, ett av fire kryss, 60% riktig for å stå • Hvor sikker er du på om svaret er riktig? • Del av eksamen, fjernundervisning • Et kryss av tre mulige, minuspoeng for galt svar (Internett og Sikkerhet, Kontorautomasjon) • Et kryss av fire mulige (Visual Basic, Kontorautomasjon) • Sett kryss for 0,1,2,3 eller 4 riktige (PHP, Visual Basic)

24. Strategi hypotese 1 • Fra its’ Learning til regneark • Ingen eksportstøtte per i dag • Stor manuell jobb • Analyse • Ulike formler for poengberegning • Forskjell, mønstre, eller annet å trekke ut • Andre forslag?

25. Forventet resultat hypotese 1 • Hvilke formler egner seg best til denne type test? • Mulig å generalisere konklusjonen? • Guide til hvordan formler må settes opp i regneark

26. Hypotese 2 • Hvis læreren kan noe teori om flervalgstester og legger flid i formuleringene, vil studentene akseptere testene. • Tester kan erstatte tradisjonell eksamensform og ressurser spares. • Det kreves derimot trolig mer arbeid for å lage en god nok flervalgstest.

27. Kildemateriale hypotese 2 • Eksamen FU i Visual Basic desember 2004 • flervalgstest (40%) • programmeringsdel (60%) • Eksamen BADR januar 2005 • flervalgstest (40%) • eksamen talte 60% på totalkarakteren (prosjekt siste 40%) • 20 spørsmål fra IT-Intro, 10 fra Publisering på Internett, 10 fra Visual Basic og 10 fra Databaser. • Kvalitetssjekk: faglærerne løste alle spørsmålene i plenum. • Muntlig tilbakemelding om at flere av spørsmålene var utvetydige og at de kunne svaret, men krysset av feil pga formuleringene.

28. Strategi hypotese 2 • Er det en sammenheng mellom resultatene fra flervalgstesten (40%) kontra programmeringsdelen (60%) av VB-eksamen? Kunne flervalg vært brukt alene på denne eksamen? • Uklare formuleringer: • Spørsmål som også flinke får 0 poeng på • Lag evalueringsskjema for BADR-studentene??? • Lag flervalg til eksamen i Opsys til våren med sterkere fokus på teori • Gjenta evalueringsskjemaet etter eksamen i mai???

29. Forventet resultat hypotese 2 • Kan lære mye om hva som må til for at tester kan brukes i utstrakt grad • Kan avdekke typiske uheldige formuleringer • Kan lære om studentenes oppfatning av tester

30. Hypotese 3 • Underveistesting i semesteret kan øke læringen for studentene, ivareta fleksibiliteten og sikre jevn progresjon i faget. • Testingen kan automatiseres

31. Kildemateriale hypotese 3 • Generell observasjon: Det er ofte et nokså stort frafall av studenter i fjernundervisningen • Mange studenter føler at eksamen ble mye vanskeligere enn først antatt. • Resultatene fra Visual Basic over en årrekke avslører at en stor andel stryker eller er i bunnen av karakterskalaen. • Har ikke brukt flervalgstester underveis i semesteret i fjernundervisningen før, selv om det ofte er flervalgstester på eksamen.

32. Strategi hypotese 3 • Lag 2-3 frivillige tester i Visual Basic, FU • Plasser disse etter vanskelige tema (matriser, funksjoner, filbehandling) • Lag og gjennomfør 1 obligatorisk flervalgstest i Opsys (BADR) • Bruk its’ Learning nå • Eget verktøy til høsten?

33. Forventet resultat hypotese 3 • Vanskelig å måle om slike underveis-tiltak har noen direkte effekt • Kan se på om gjennomføringsraten øker, samt om karakterene forbedres sammenliknet med tidligere karakterfordeling • Kan spørre om de er tilfredse med faget, og kanskje sammenlikne med andre fag de tar hvor slik testing ikke gjennomføres? • Kan gjenbruke testene over flere semestre og slik forbedre det pedagogiske opplegget

35. Status • Litteraturstudier • Gjennomførte tester • Behov for nytt verktøy - hovedprosjekt • Demo ved studentene Thomas Eggum og Sindre Williksen

36. Videre arbeid – Vår 2005 • Følge opp hovedprosjektet • Komme fram til metoder for å kvalitetssikre tester • Utvikle tester basert på litteraturstudiene • Gjennomføre tester i noen fag • Som selvtest • Som vurderingsgrunnlag • Vurdere om det er noen signifikant forskjell mellom test og vanlig eksamen • Implementere IMS QTI i hovedprosjektoppgaven? • Undersøke hvordan studenter og lærere oppfatter verdien av tester i læringsprosessen

37. Videre arbeid – Høst 2005 • Evaluere resultatet av vårens undersøkelser • Skrive foreløpig rapport • Studere problematikken omkring autentisering av tester • Utføre nødvendige forbedringer og kvalitetssikre arbeidet • Nye undersøkelser • Analysere resultatene • Foredrag

38. Videre arbeid – Vår 2006 • Fortsette analysearbeidet • Rapportskriving • Utarbeide instruksjonshefte for å lage gode tester • Avslutningsfest!!!