110 likes | 287 Views
TOEFL internet Based Test. Johanna Lahti Suunnittelija Fulbright Center Kv-kevätpäivät, Seinäjoki Ulkomaisten tutkinto-opiskelijoiden kielitaidon arviointi – toimivatko kielitestit? 16.5.2007. ETS perustettu 1947 testien kehitys, hallinnointi, pisteitys, tutkimus
E N D
TOEFL internet Based Test Johanna Lahti Suunnittelija Fulbright Center Kv-kevätpäivät, Seinäjoki Ulkomaisten tutkinto-opiskelijoiden kielitaidon arviointi – toimivatko kielitestit? 16.5.2007
ETS perustettu 1947 testien kehitys, hallinnointi, pisteitys, tutkimus vuosittain 24 miljoonaa testiä yli 180 maassa TOEFL 1964 20 miljoonaa testintekijää noin 800 000 testiä/vuosi yli 180 maata yli 6000 oppilaitosta yms. tahoa käyttää TOEFL-tuloksia TOEFL:in uusin versio, iBT alkoi porrastetusti maittain syksyllä 2005, Suomessa kesällä 2006 Educational Testing Service ja TOEFL
LUKEMINEN 3-5 tekstikatkelmaa 12-14 kysymystä/katkelma 60-100 minuuttia KUUNTELU 4-6 luentoa 2 tai 3 keskustelua 60-90 minuuttia PUHUMINEN 6 tehtävää 2 itsenäistä tehtävää 4 yhdistelevää tehtävää: lue/kuuntele/puhu ja kuuntele/puhu puhutaan mikrofoniin KIRJOITUS 2 tehtävää yhdistelevä: lue/kuuntele/kirjoita (20 minuuttia) perinteinen esseekirjoitus (30 minuuttia) Tehtävät tyypillisiä yliopisto- ja korkeakoulumaailmalle: luennot ja keskustelut muu kanssakäyminen oppilaitoksessa lukemistehtävät esseiden ja tenttivastausten kirjoittaminen Testin tavoite: kommunikatiivisia taitoja mittaava kielitesti Testin rakenne
TOEFL iBT-testin kehitystyö aloitettiin 1990 määrittely ja mittava tutkimustyö prototyyppitehtävät ja pisteitysohjeet tehtävien pilottitestaus testikokeilut aidoissa olosuhteissa, isot otannat kaikki testivastaukset analysoidaan tilastollisesti TOEFL-testin reliabiliteetti on 0,95 Testin kehitys
lukeminen 0-30 kuuntelu 0-30 puhuminen 0-30 kirjoitus 0-30 kokonaispiste 0-120 Testinpisteitys Tulosvertailutaulukko iBT CBT PBT 120 300 677 118 290 667 114-115 280 650-653 110 270 637 105 260 617-620 100 250 600-603 94-95 240 587 88-89 230 570-573 83 220 557-560 79-80 213 550 72-73 200 533
KIELI LUK. KUUNT. PUH. KIRJ. KOKONAISPISTE 30 30 30 30 120 suomi 23 26 23 24 96 (72%) ruotsi 22 25 25 23 95 hollanti 25 27 26 25 103 (~85%) tanska 24 26 26 25 101 konkani 25 25 24 26 101 viro 24 26 23 24 97 kannada 24 25 24 25 97 ranska 22 22 21 21 86 venäjä 20 23 22 21 85 espanja 21 22 21 20 84 (53%) kiina 19 19 18 20 75 italia 20 18 16 17 71 japani 15 17 15 17 65 Keskiarvopisteitä 9/2005-12/2006
YLIOPISTO/KORKEAKOULU CBT/PBT/iBT IELTS TKK 237/580 5.5 LTY 213/550 6.0 TTY 213/550 6.0 Sibelius-Akatemia 213/550 6.5 Taideteollinen korkeakoulu 213 6.0 Hanken 237, 250/92, 100 6.5, 7.0 Helsinki 237/580/79, 92 6.5 HSE 236 (TOEIC 701) 6.5 Joensuu 213/550/80, 100 5.5 Jyväskylä 213/550 & 250/600 6.0, 6.5, 7.0 Kuopio 213/550/79-80 6.0 Lapin yliopisto 213/550 5.5 Oulu 230/570 5.0-6.5 Tampere 232/575/90 6.5 Turku 232/575/90 6.5 Vaasa 213/550/79 6.0 Suomalaisten yliopistojen ja korkeakoulujen pisterajoja (talvi 2006)
ovatko kaikki osataidot yhtä oleellisia? jos eivät, näkyykö pistevaatimuksissa? vaikka kokonaispiste on sama, osiopisteet voivat olla erilaiset osiopisteiden käyttö kokonaispisteen sijaan? osiopisteet ja kokonaispiste? Pisterajojen määrittely
B1, itsenäinen kielenkäyttäjä TOEFL PBT 457 (310-677) CBT 137 (0-300) iBT 47 (0-120) C1, taitava kielenkäyttäjä TOEFL PBT 560 CBT 220 iBT 83 TOEFL ja yleiseurooppalainen viitekehys
Pisteraja, Cut score Välttämätön vähimmäiskielitaito opinnoista selviämiseen ”How much English language ability is enough to handle first-year studies?” Pisterajojen määrittelyssä: Kenen kielitaidosta on kyse (perustutkinto-vai jatko-opiskelija, opintoala…)? Määrittele millaisia opiskelijan kielenkäyttötilanteet ovat (lukeminen, kuuntelu, puhuminen kirjoitus) Millainen kielitaito opiskelijalla pitäisi vähintään olla selvitäkseen määritellyistä kielenkäyttötilanteista? Minimally acceptable speaker (as defined by a university panel) Accent doesn’t hinder communication Appropriate use of vocabulary, but not without some errors Has some flow, connected dialogue Has semblance of organization May mix formal and informal speech but meaning is clear Reasonable pace Pisterajojenmäärittely
Apuvälineitä TOEFL iBT Tips-kirjanen! tulosvertailutaulukot taitotasokuvaukset (competency descriptors) pisteityskriteerit muiden käyttämät pisteet ETS:n tilastot (keskiarvot, hajonnat jne.) Huomioon otettavaa pisterajoja määriteltäessä, ETSn vinkkejä Factors other than language ability (e.g., motivation, content knowledge) Availability of ESL support at your institution Possibility of different section score requirements for different departments Follow-up recommendations: conduct validation studies and periodic review of cut scores Don’t set a rigid cut score Consider using score ranges rather than a single score Besides score comparison chart, look at percentile data and standard error of measurement Pisterajojen määrittely