1 / 13

Testverktøy for å forbedre kvaliteten på flervalgstester

Testverktøy for å forbedre kvaliteten på flervalgstester. Svend Andreas Horgen Høgskolelektor Avdeling for Informatikk og e-Læring (AITeL) Høgskolen i Sør-Trøndelag svend.horgen@hist.no http://www.aitel.hist.no/~svendah. Motivasjon for arbeid. Kvalitetsreformen – underveisevaluering

ting
Download Presentation

Testverktøy for å forbedre kvaliteten på flervalgstester

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Testverktøy for å forbedre kvaliteten på flervalgstester Svend Andreas Horgen Høgskolelektor Avdeling for Informatikk og e-Læring (AITeL) Høgskolen i Sør-Trøndelag svend.horgen@hist.no http://www.aitel.hist.no/~svendah

  2. Motivasjon for arbeid • Kvalitetsreformen – underveisevaluering • Fjernundervisning: 1000++ fagpåmeldinger • Effektivitet • LMS har egne verktøy • proprietære • mangler • vanskelig å påvirke utvikling

  3. Utforme test • 4 iterative faser for å lage gode tester • Utforming: hvordan lage spørsmål av høy kvalitet, ... • Distribusjon: utdeling, juks, # forsøk, ... • Vurdering: beregne skår, strategi for karaktergiving, ... • Forbedring: analyse, identifisere dårlige spørsmål, ... W. Horton: Designing web-based training Wiley, 2000 Forbedre test Gi test Vurdere resultatet

  4. Kvalitet gir suksess • Hvor skal poenggrensene gå? x -> (x-100/n)*n/(n-1) Normalisering, n er antall alternativer, x oppnådd poengsum • Analyse av testresultater er viktig, men vanskelig og tidkrevende: • sortere, sammenlikne • ”populære” alternativer • statistikk (spørsmål) • tidsforbruk • min, max, snitt, frekvens • distraktøranalyse • variasjonsbredde, varians, standardavvik • andre statematiske formler

  5. Implementering av et testverktøy • Datamaskin kan automatisere og hjelpe • rask utvikling av tester og spørsmål • gjenbruk av spørsmål og tester • administrasjon av studenter og distribusjon av tester • tilfeldig utvalg av spørsmål basert på kriterier • beregning av poengsum/skår • analyse av resultater  statistikk og forslag • Datamaskinbaserte tester er skalerbare

  6. Alle fire faser Fokus på forbedringsfasen Multiple choice  fritekst kan kombineres Sikkerhetsgrad LaTeX-kode  formler som bilder Ressurser (bilder++) Testparametre strategi for vurdering timing tilgjengelighet # forsøk strategi for respons ... IMS QTI: import og eksport ”Spørsmåls-pool” Web-basert system: EVATESTING

  7. ”Spørsmåls-pool” • Alle spørsmål lagres i felles base (pool) • Søkbar på • Gjenbruk og statistikk... • Verktøyet kjenner historikken til hvert spørsmål • Ressurs for læreren

  8. Forbedring – den vanskelige fasen? • Beregninger: fra dager til sekunder • Nyttige statistikker på flere nivåer • hjelp til å identifisere bra/dårlige spørsmål • Pool + statistikk = interessante uttrekk • spørsmål med suksess • ofte brukte spørsmål • dårlig konstruerte distraktører • alternativer som ingen har valgt • Automatisk generering av tester basert på ulike kriterier

  9. Problemet med distraktører Hvem er forfatter av læreboka ”Webprogrammering i PHP”? • Studenter må ikke kunne eliminere distraktørene • De fleste lærere synes at oppgaven med å skrive gode distraktører er vanskelig... Svein Magne Sirnes: Flervalgsoppgaver – konstruksjon og analyse Fagbokforlaget, 2005 • ... men et system kan hjelpe med automatisk generering av distraktører basert på feil svar fra tilsvarende fritekst-spørsmål ! • ... eller fra liknende spørsmål  maler 1. Jon S. von Tetzchner 2. Svend Andreas Horgen 3. Ari Behn

  10. Studenter på-huset og fjernstudenter, matematikk og IKT-fag Testing brukes som del av læreprosessen og i underveis/sluttvurdering Samler erfaringer spørsmålspoolen vokser stadig samlingen av resultater fra testene vokser tilbakemeldinger fra lærere og studenter He who loves practice without theory is like the sailor who boards ship without a rudder and compass and never knows where he may cast. Leonardo da V Nå: Bruk av systemet

  11. Hva har vi lært? • Poolen har vært en suksess • gjenbruk • søk etter spørsmål av høy kvalitet • Bruk av statistikk kan hjelpe læreren betydelig i forbedringsfasen • Manuell analyse av testresultater har hjulpet med å bestemme hva som må implementeres i systemet • Studenter er en veldig nyttig ressurs for videreutvikling og feilretting

  12. Fremtidig arbeid • Grensesnittet må forbedres • Noe funksjonalitet er ikke implementert enda, trenger bedre funksjonalitet for analyse • Utforske ulike muligheter for bruk • Analysere i hvilken grad et slikt verktøy er effektivt og tilbyr tidsbesparelser for gjennomsnittslæreren, og sikrer høy kvalitet • Finne metoder for beste praksis innen flervalgstesting

More Related