1 / 33

Skaitymo test ų moderavimas

Skaitymo test ų moderavimas. Projekto “Komunikacinių kompetencijų vertinimo ir įsivertinimo sistemos plėtra” seminaras 2007 sausio 1- 3. EUROPOS SĄJUNGA. Terminas. Moderating / Vetting and editing (ALTE) Moderate žr.- ALKON: tarpininkauti, vadovauti diskusijai;

pearly
Download Presentation

Skaitymo test ų moderavimas

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Skaitymo testų moderavimas Projekto “Komunikacinių kompetencijų vertinimo ir įsivertinimo sistemos plėtra” seminaras 2007 sausio 1- 3 EUROPOSSĄJUNGA

  2. Terminas • Moderating / Vetting and editing (ALTE) • Moderate žr.- ALKON: • tarpininkauti, vadovauti diskusijai; • padaryti nuosaikesnį, sumažinti, apriboti • aptarti – daugiareikšmis • Moderavimas – užduočių aptarimas ir korekcija EUROPOSSĄJUNGA

  3. Kada atliekamas? • Kas atlieka? • Kaip atliekamas? EUROPOSSĄJUNGA

  4. Kada? • Pirmasis ‚moderavimas‘ – kolegos, studentai (nesusiję tiesiogiai su rengiamu egzaminu) • Antrasis moderavimas – moderavimo komitetas EUROPOSSĄJUNGA

  5. Komiteto sudėtis: • užduočių rengėjai (item writers), - kiti, ne tie, kurie rengė aptariamas užduotis • prityrę mokytojai / dėstytojai • kiti ekspertai (testavimo, dalyko, jei testas specialios paskirties) • optimalus narių kiekis – 4/5 (daugiau – ilgai trunka, mažiau nei 3, nepakanka nuomonių) EUROPOSSĄJUNGA

  6. Komiteto tikslai / uždaviniai Aptarti, • ar testas atitinka specifikaciją • ar tinkamas sunkumas • ar nėra kokių nors nenumatytų trūkumų / netikėtumų • ar aiškios (nedviprasmiškos) instrukcijos / užduočių formuluotės • ar gerai sumaketuotas (problems of layout), pvz., tekstas vienoje pusėje lapo, užduotys kitoje • ar užduočių (punktų) pobūdis ir kiekis dera su tekstu • ar visas testas gerai subalansuotas EUROPOSSĄJUNGA

  7. Moderavimo procedūra ir nuostatos • testas atliekamas taip, kaip jį laikytų testuojamasis (Paprastas testo perskaitymas, „pažiūrėjimas“, neleidžia suvokti, ką testas tikrina ir kokia jo kokybė; būtina testą „laikyti“) • moderavimo sąlygos turi būti panašios į tas, kurios bus laikant egzaminą (jei tai rašymo testas, komitetas rašo rašinį, jei klausymo – išklauso įrašą ir atlieka užduotis; NB – ne pagal tekstą popieriuje!) EUROPOSSĄJUNGA

  8. Moderavimo procedūra ir nuostatos Moderavimo komitetas turi skirti pakankamai laiko moderavimui • suplanuoti laiką (dažnai pirmosios užduotys užima daugiaui laiko, nei kitos; paskutinės užduotys atliekamos skubotai) • pirmininkas seka, kad visoms užduotims būtų skiriamas tinkamas laikas EUROPOSSĄJUNGA

  9. Komitetas išrenka pirmininkaujantį ir sekretoriųPirmininko pareigos: • paskirstyti laiką, • sekti, kad visi komiteto nariai būtų išklausyti, • siekti, kad būtų priimami aiškūs sprendimai, • sekti, kad sprendimai būtų protokoluojami, visi pakeitimai aiškiai užrašomi, • skirti atsakingą narį už sprendimų įgyvendinimą EUROPOSSĄJUNGA

  10. Kitas moderavimo variantas (ALTE); Medžiaga išsiuntinėjama komiteto (grupės) nariams susipažinti, bet jie turi būti atliekama ta tvarka, apie kurią kalbėjome EUROPOSSĄJUNGA

  11. Šiame etape dar galima keisti specifikaciją EUROPOSSĄJUNGA

  12. Ar užduoties autorius dalyvauja komiteto darbe? • Niekas nėra savarankiškai (vienas) parašęs gero testo; būtina, kad su testu padirbėtų keletas žmonių • Nebandykite ginti savo užduočių, būkite pasirengę atsisakyti ar keisti, jei kiti randa juose trūkumų. • (Mes VISI kuriame blogas užduotis) EUROPOSSĄJUNGA

  13. Į ką atkreipti dėmesį moderuojant skaitymo testą? • Skaitymo ir klausymo testus moderuojant rekomenduojama pabandyti atlikti užduotis prieš skaitant tekstą; (kiek užduočių pavyko atlikti teisingai, t.y. atspėti?) EUROPOSSĄJUNGA

  14. Teksto dydis, tema, pobūdis Tekstas gali būti atmestas, jei • reikalauja per daug kultūrinių ar specifinių žinių; • netinkama tema, pvz., karas, religija, politiniai įsitikinimai, jei jie gali įžeisti ar gluminti testuojamuosius; • tekstai netinkami testuojamųjų amžiaus grupei • tekste per daug sunkių žodžių ir / ar sąvokų • ypatingi stiliaus ar techniniai bruožai • teksto originalas nesuredaguotas (intern., laikr.) EUROPOSSĄJUNGA

  15. Teksto ir užduočių santykis • Ar tekstas pakankamai ilgas numatytam kiekiui užduočių? • Ar užduotys teste išsidėstę tolygiai? • Ar kelios užduotys netikrina to paties vertinimo objekto? EUROPOSSĄJUNGA

  16. UžduotysPasirinkimas iš kelių galimų atsakymų(multiple-choice)Cyril J. Weir. (1990), p.44: Kruopščiai patikrinti ar • kamiene nėra perteklinės informacijos, ar jis pakankamai glaustas • ar formuluotėse nėra rašymo, gramatikos ir kt.klaidų; ar kalba pakankamai tiksli ir glausta, ar ji atitinka to testo lygį • ar informacija tekste pakankama, kad būtų galima atsakyti į klausimą • ar tik viena pasirinktis yra neabejotinai teisinga • ar neteisingos pasirinktys (“distraktoriai”) yra pakankamai patrauklūs ir ar jie tinkamo lygio • ar pasirinktys yra vienodos savo struktūra ir ilgiu • ar nėra dvigubų neiginių EUROPOSSĄJUNGA

  17. Dažniausiai pasitaikančios klaidos • neįtikėtinos parinktys • daugiau nei viena įmanoma parinktis • parinktys skirtingo ilgio ir pobūdžio, orientuotos į skirtingus tikrinimo objektus • užuominos (žodžiai “kartais”, “dažnai” sufleruoja teisingą atsakymą; “niekados” – neteisingą) • neteisingas židinys (užduotis tikrina neesminės informacijos suvokimą) EUROPOSSĄJUNGA

  18. Teisingas-neteisingas • Patikrinti ar nėra langvai atspėjamas • Esant trečiai parinkčiai (nėra tekste / tekste nerašoma), patikrinti, ar ji negali būti traktuojama, kaip neteisinga • Patikrinti, ar trečioji parinktis negalima dedukcijos būdu EUROPOSSĄJUNGA

  19. Derinimas • Derinimo pusėse parinkčių skaičius turi būti skirtingas (viena/dviem daugiau) • Jei yra kelios derinimo galimybės, apie tai turi būti parašyta instrukcijoje • Derinant tekstus / pastraipas, jų pasirinkimas neturi priklausyti nuo raktinių žodžių EUROPOSSĄJUNGA

  20. Išdėstymas reikiama tvarka Ne kievienam tekstui tinka (tinka tekstams, kuriuose aprašyti procesai, nuoseklūs įvykiai ar kitokia seka) Patikrinti, • ar nėra įmanomi keli sekų variantai • ar nėra dalinai teisingų parinkčių Numatyti, kaip bus vertinami rezultatai, esant klaidoms EUROPOSSĄJUNGA

  21. Tarpų užpildymas • Patikrinti, ar aiškus tikrinimo / vertinimo objektas • Turėti galvoje, kad ši užduotis geriau tinka tikrinti / vertinti tik žodžio ar sakinio lygmeniu • Numatyti bandymus ir parengti daugiau užduočių, kad būtų galima, išbandžius, atsisakyti netinkamų • Numatyti kitus testavimo būdus papildymui EUROPOSSĄJUNGA

  22. Informacijos perkėlimas Patikrinti, • ar tekstas tinkamas šiai užduočiai, • ar nereikalauja specifinių žinių, kurių gali turėti tik kai kurie testuojamieji (nelygių testavimo sąlygų pavojus) EUROPOSSĄJUNGA

  23. Trumpi atsakymai į klausimus Patikrinti, ar • numatytos rašymo ribos (žodžių skaičius) • numatyti vertinimo kriterijai (tikslumas, detalumas, rašymo taisyklingumas, formuluotės – perfrazuotos ar ne...) • numatyti atsakymų variantai • ar parengtas atsakymų raktas EUROPOSSĄJUNGA

  24. Visos užduotys, kurios atliekamos ne pagal pateiktus atsakymus turi būti peržiūrimos ir koreguojamos arba atmetamos • Palyginkite, ar užduočių autoriaus ir moderuotojų nuomonės apie tai, ką tikrina užduotis sutampa / skiriasi? Palyginkite su aprašu (specifikacija). EUROPOSSĄJUNGA

  25. Pabandykite išsiaiškinti, • kodėl tikrintojai pateikė būtent tokį atsakymą • ką (kokį gebėjimą, aspektą...) tikrintojo nuomone vertina jūsų užduotis • koks tikrintojo nuomone užduoties tikslas ir kokio lygio testuojamajam ji tinkama EUROPOSSĄJUNGA

  26. Palyginkite savo testą su specifikacija, ar ko nors reikšmingo jame netrūksta? Testo apimtis (ar pakankamai atspindi specifikaciją; ar testuojami tik tie aspektai, kuriuos lengviau patikrinti) • Palyginkite, ar užduočių autoriaus ir moderuotojų nuomonės apie tai, ką tikrina užduotis sutampa / skiriasi? Palyginkite su aprašu (specifikacija). EUROPOSSĄJUNGA

  27. Pasibaigus komiteto darbui, visos atliekamos testų kopijos sunaikinamos. Labai aiškūs sprendimai daromi apie tai, kaip panaudoti nepriimtus (atmestus) testus. EUROPOSSĄJUNGA

  28. Bandymai • Pilot testing – pirminiai bandymai • Pretesting – užduočių bandymai • Piloting – testo bandymas • Trial – bandymai (rašymo, kalbėjimo užduočių) • Bandymų svarba – sunkumas, netikėti atsakymai, instrukcijos, vertinimas, raktas EUROPOSSĄJUNGA

  29. Grupių dydis ir pobūdis • Testuojamųjų grupė – apie 100 žmonių “objektyvaus” vertinimo testams • “Subjektyviems” – mažiau • Pirminiai bandymai – kolegos, grupė studentų (bent 20) EUROPOSSĄJUNGA

  30. Pirminiai bandymai Tikrinama • Laikas užduotims atlikti • Instrukcijų aiškumas • Atsakymų raktas (tikslus / aiškus ir pan.) • Kalbinės raiškos spriemonės, kurių galima tikėtis “subjektyviais” (kalbėjimo, rašymo) testais • Vertinimo skalių tinkamumas EUROPOSSĄJUNGA

  31. Užduočių bandymai • Henning (1986) – 1000 • Alderson (1995) – 200 / 300 – 20 / 30 • Grupė – analogiška tai, kuriai rengiamas egzaminas EUROPOSSĄJUNGA

  32. Apie atskirų užduočių tinkamumą galima spręsti tik atlikus statistinę bandymų rezultatų analizę EUROPOSSĄJUNGA

More Related