Flervalgstester – introduksjon Hvordan lager vi gode tester?

1. Flervalgstester – introduksjon Hvordan lager vi gode tester? Slik? ”enkel ogoversiktlig eksamensform, jeg synes det fungerte veldig bra” Eller slik? ”satt igjen med en teoriprøve-førerkort-klasse B følelse etter testen”

2. Vårt utgangspunkt: • Vi vil bruke flervalgstester både til: • Formativ evaluering • Støtte til studentene i hele læreprosessen • Summativ evaluering • Obligatoriske tester underveis, teller på karakteren • Midtveiseksamen • Eksamen • Vi vil arbeide for å gjøre dette til et fullverdig alternativ og supplement til ”tradisjonelle” prøver og eksamener • Teori og praksis

3. Kan gi mange fordeler • Kan dekke større deler av pensum enn tradisjonelle prøver • Effektiv prøveform: 80% mente de ville brukt mye lengre tid på en tradisjonell eksamen • Effektiv for lærer • Mindre tid til å rette, mer tid til veiledning og undervisning • Effektiv for studentene • ”enkel å gjennomføre” • ”slipper stress på grunn av mye skriving” • Fleksibel og motiverende som støtte i læringsarbeidet • ”du får resultatet med en gang” • ”jeg blir mer vant til å løse et problem fordi jeg ser mange løsninger, men kun en er riktig, da må jeg trekke inn kunnskap fra andre deler av faget, tenke igjennom problemet og eliminere alternativer” • Objektiv vurdering • Resultatet påvirkes ikke av håndskrift og evne til å uttrykke seg skriftlig Hvis de utformes og brukes på riktig måte!

4. Teste det vi skal teste: Teste kognitive ferdigheter ut over faktakunnskap (Blooms taksonomi) Teste ferdigheter og ikke evnen til å ta flervalgstester Ikke gi bort svaret ved dårlig formulerte spørsmål Ikke lure studentene ved dårlig formulerte spørsmål ”jeg tror resultatet på testen ble som det ble fordi dette var noe nytt” ”unødig å gi oppgaver som kan mistolkes” Gi riktig vurdering av resultatet: Velge skårstrategi Kompensere for gjetting Belønne delvis kunnskap Velge karakterskala Strykgrense Kriteriebasert eller normbasert ”du får ikke vist at du forstår prinsippet hvis du regner feil” ”man risikerer å gå i null hvis man safer, men sitter igjen med minus om man velger bare de alternativene man tror på og disse er feil” Men gir oss en del utfordringer

5. Blooms taksonomi – hva kan testes ved hjelp av flervalgsspørsmål? Vurdering? Syntese? Analyse? Anvendelse? Forståelse? Kunnskap?

6. Oppbygging av et flervalgsspørsmål Elementer: Informasjon om spørsmålet På denne testen kan du markere mer enn et riktig svar. Du kan sette maksimalt tre kryss. Du får 2 poeng for hvert riktig svar og -1 poeng for hvert feil svar. Orientering - stimulus Målet for et systemutviklingsprosjekt Systemutvikling er krevende og statistikken viser at mange systemutviklingsprosjekter mislykkes. Skal vi ha håp om å lykkes er det viktig at vi husker hva som er det egentlige målet for oppgaven. Spørsmålet (stammen): Hvilke av utsagnene beskriver best det overordnede målet for et systemutviklingsprosjekt: Nøkkel A: Målet er alltid å utvikle det beste systemet med så avanserte tekniske løsninger som mulig. B: Målet er å finne de enkleste og billigste løsningene for denne kunden. Det kan bety at vi enkelte ganger ikke lager et nytt system men bare gjør endringer i det som finnes fra før. C: Målet er å levere et system som oppfyller brukernes behov best mulig. Det kan bety at ikke alle blir like fornøyde. D: Målet er å levere et system uten feil og mangler innen den fristen vi lovet. E: Målet er å sikre at kunden får tatt i bruk avansert IT-teknologi F: Målet er å utvikle et syst4em som best mulig er tilpasset den måten brukerne jobber på i dag. Svaralternativene Distraktører Et flervalgsspørsmål er et lukket spørsmål

7. Å lage en god flervalgstest Kursmål Emnedidaktikk Mål for testen Studentforutsetninger • Hvordan informerer vi studentene? • Hvordan formulerer vi gode spørsmål? • Hvordan gir vi tilbakemelding om resultatet? Utforme test Forbedre test Gi test • Hvordan vet vi hvor god testen er? • Når gir vi testen, hvem initierer den og hvor ofte kan studenten ta den (teststrategi) • Er juks et problem og kan vi hindre det? Vurder resultatet • Hvilken strategi velger vi for å gi poeng? • Hvordan tolker vi resultatet?

8. Sentrale spørsmål for oss: • Hvordan: • Finner og formulerer vi gode flervalgsspørsmål? • Gir vi poeng (skår)? • Bestemmer vi rett karakter? • Gir vi tilbakemelding om resultatet? • Informerer og forbereder vi studentene? • Blir vi stadig bedre?

9. Formulering av gode spørsmål • Enkle og komplette formuleringer, eksempel: • Økonomiser med ord • Ikke spill på nesten like ord • Pass på dobbelt nekting • Ikke la ja bety noe negativt • Ikke bruk pronomen • Ikke bruk understrekning, betyr lenke på Internet • La alle alternativer være like sannsynlige • Alle svaralternativer er grammatisk-logiske svar på spørsmålet • Svaralternativene har samme presisjonsnivå • Unngå svar som er subjektive synspunkter • Ikke avslør svaret • Ikke la en oppgave røpe andre oppgaver • Ikke la en illustrasjon røpe svaret • Varier vanskelighetsgraden • Noen få vanskelige oppgaver bidrar til å identifisere de flinkeste elevene • Ingen bør få 0 rett

10. Skårstrategier • Bare positive poeng for rett svar • Minus for feil svar • Ett eller flere riktige svar • Ett eller flere valg • Eliminer gale svar • Poeng etter vanskelighetsgrad • Poeng etter riktighetsgrad • Normalisering • Angi hvor sikker du er

11. Referanser • W. Horton: Designing web-based training Wiley, 2000 • Svein Magne Sirnes: Flervalgsoppgaver – konstruksjon og analyse Fagbokforlaget, 2005 • T. Buchanan: “Using the world wide web for formative assessment”, Jorunal of Educational Technology Systems, 27, 1998-1999 • M. Bush: ”A Multiple Choice Test that Rewards Partial Knowledge”, Journal of Further and Higher Education, Vol. 25 no 2, 2001 • Sylvia Encheva, Sharil Tumin: “On multiple choice tests in a computer aided assessment system” • http://www.fairtest.org/facts/mctfcat.html. ”Multiple-Choice Tests” • http://www.officeport.com/edu/blooms.htm ”Blooms Taxonomy”

12. Blooms taxonomy - http://www.officeport.com/edu/blooms.htm

13. Bloom’s taxonomy • In 1956, Benjamin Bloom headed a group of educational psychologists who developed a classification of levels of intellectual behavior important in learning. Bloom found that over 95 % of the test questions students encounter require them to think only at the lowest possible level...the recall of information. Bloom identified six levels within the cognitive domain, from the simple recall or recognition of facts, as the lowest level, through increasingly more complex and abstract mental levels, to the highest order which is classified as evaluation. Verb examples that represent intellectual activity on each level are listed here. • Knowledge: arrange, define, duplicate, label, list, memorize, name, order, recognize, relate, recall, repeat, reproduce state. • Comprehension: classify, describe, discuss, explain, express, identify, indicate, locate, recognize, report, restate, review, select, translate, • Application: apply, choose, demonstrate, dramatize, employ, illustrate, interpret, operate, practice, schedule, sketch, solve, use, write. • Analysis: analyze, appraise, calculate, categorize, compare, contrast, criticize, differentiate, discriminate, distinguish, examine, experiment, question, test. • Synthesis: arrange, assemble, collect, compose, construct, create, design, develop, formulate, manage, organize, plan, prepare, propose, set up, write. • Evaluation: appraise, argue, assess, attach, choose, compare, defend, estimate, judge, predict, rate, core, select, support, value, evaluate.

14. Blooms taxonomi • In 1956, Benjamin Bloom headed a group of educational psychologists who developed a classification of levels of intellectual behavior important in learning. During the 1990's a new group of cognitive psychologist, lead by Lorin Anderson (a former student of Bloom's), updated the taxonomy reflecting relevance to 21st century work. The graphic is a representation of the NEW verbage associated with the long familiar Bloom's Taxonomy. Note the change from Nouns to Verbs to describe the different levels of the taxonomy. • Note that the top two levels are essentially exchanged from the Old to the New version.

15. Blooms taxonomi - http://web.odu.edu/educ/llschult/blooms_taxonomy.htm • Remembering: can the student recall or remember the information? • Understanding: can the student explain ideas or concepts? • Applying: can the student use the information in a new way? • Analysing: can the student distinguish between the different parts? • Evaluating: can the student justify a stand or decision? • Creating: can the student create new product or point of view?