Adaptive systems: Opportunities and Challenges in Evaluation Michal Samiec

1. Adaptive systems: Opportunities and Challenges in Evaluation Michal Samiec Adaptive systems: Opportunities and Challenges in Evaluation

2. Analýza existujúcich spôsobov • Počiatky – 80. roky (Computer Based Testing CBT) • Výhody – oproti papieru a peru • Nevýhody – náklady na údžbu • Web Based Testing (WBT) – 90. roky • Výhody – princíp „Kdekoľvek, kedykoľvek“ • – tvorí ktokoľvek • – cenovo dostupné • – okamžité výsledky • Problémy – Identifikácia • – Utajenosť testu • – Bezpečnosť (uloženia, prenosu) • – Vyhodnotenie výsledkov • Computer Adaptive Testing d Adaptive systems: Opportunities and Challenges in Evaluation

3. Analýza existujúcich spôsobov Essay Realizovaný cez textarea, vyžaduje ľudský faktor. Popíšte ako sa dostať z Moore Hall do Sinclait Library? Poslať Adaptive systems: Opportunities and Challenges in Evaluation

4. Analýza existujúcich spôsobov SinglechoiceMultichoice Realizovaný radiobutonmi Realizovaný checkboxami Adaptive systems: Opportunities and Challenges in Evaluation

5. Analýza existujúcich spôsobov Gaps Realizovaný cez textboxy. Selfranking Realizovaný cez slider alebo textbox, do ktorého sa zapíše hodnota. Sortwords Realizovaný podobne ako sortlines Writecode Najobtiažnejší spôsob na realizáciu, najčastejšie realizový ako čiernaskrinka. Adaptive systems: Opportunities and Challenges in Evaluation

6. Analýza existujúcich spôsobov Sortlines Realizovaný jeden par listview Adaptive systems: Opportunities and Challenges in Evaluation

7. Analýza existujúcich systémov • Existujúce systémy - Kategórie • Adaptive Testing (CAT)Classical Item and Test Analysis • FastTEST Professional - Lertap 5 • POSTSIM2.0 - TESTFACT • Copy/cheating detectionItem Response Theory • Integrity - BILOG - PARELLA • Scrutiny! - LOGI - XCALIBRE • General Statistical Analysis • Latent Multidimensional Structure • Scale and Survey Analysis • Structural Equation and Hierarchical Linear Modeling • Test Validation Prehľad: http://www.assess.com/frmSoftCat.htm Adaptive systems: Opportunities and Challenges in Evaluation

8. http://edres.org/scripts/cat/genicc.asp - interaktívna ukážka Item Response Theory Každá položka v procese testovania má tieto 3 parametre. a - item discrimination parameter b - item difficulty parameter c - guessing parameter Pravdepodobnosť správnej odpovede: ci + (1 - ci) P(ui=1 | Thetaj, ai, bi, ci) = --------------------------------- [1 + exp(-1.7 ai ( Thetaj- bi)] Príklad : ai = 2.0, bi = 0.0, ci = .25 and Theta varying from -3.0 to 3.0. <- ci - veľká pravdepodobnosť <- bi – pozícia inflexného bodu krivky - nižšie hodnoty (vlava) - vyššie hodnoty (vpravo) ci - malá pravdepodobnosť -> <- bi – sklon krivky - nižšie hodnoty (viac plochá) - vyššie hodnoty (strmá) Theta – pravdivé skóre Adaptive systems: Opportunities and Challenges in Evaluation

9. Potenciál a obmedzenia CAT • Výhody • Testysúvytvorené „na požiadanie" a výsledky sú okamžite. • Nie je potrebný žiadny papier a taktiež školený preskúšavajúci. Sú odstránené rozdiely medzi skúšajúcimi, ktorý opravujú test. • Testysú individuálne, nie je potrebné čakať na ostatných s prechodom na ďalšiu sekciu. • Bezpečnosť testu by mohla byt lepšia, lebo nikdy nie je vystavený výsledok testu verejne. • Testy poskytujú rôzne možnosti pre časovanie a formátovanie. Preto majú potenciál prispôsobiť sa širšej oblasti typov otázok. • Je potrebný omnoho menší čas na administratívu a samotné vykonanie testu. Zmenšuje možnosť únavy, ktorý môže ovplyvniť výsledky testu. • Systémy CAT môžu poskytovať relat9vne presné výsledky. • Nevýhody • Nie vždy sa dá vytvoriť test pre danú oblasť a úroveň. Pretože väčšina CAT systémov používa IRT, ktorý je stále vo vývoji a nedá sa teda vždy vytvoriť pre dané prostredie. • Niekedy hardwarové, softwarové obmedzenia bránia niektorým typom otázok resp. nie vzdy sa dá otázka kvalitatívne plnohodnotne vysvetliť. • Potrebujú presné nastavenia pri vytváraní otázok. • CAT systémy sú obmedzené ak nie je dostatok počítačov na vykonanie testu a taktiež počítačovou gramotnosťou preskúšavaných. • S rozdielnosťou testov sa spája otázka nespravodlivosti • Problém so spätnou opravou otázok.ˇAk sa testy generujú adaptívne potom šikovnejší prejdú test bez vyplnenia a tým sa generujú ľahšie otázky a pri spätnom vypĺnaní odpovedí majú väčiu úspešnosť. Pri zablokovaní možnosti spätnej editácie otázok test stráca na objektívnosti. Adaptive systems: Opportunities and Challenges in Evaluation

10. Model návrhu Adaptive systems: Opportunities and Challenges in Evaluation

11. Zdroje: http://www.assess.com/frmSoftCat.htm http://edres.org/scripts/cat/genicc.asp - interaktívna ukážka http://www.win.tue.nl/~debra/elearn2004/poster.pdf http://www2.sis.pitt.edu/~peterb/papers/ITICSE05.pdf http://www2.sis.pitt.edu/~peterb/papers/ELearnQP04.pdf Ďakujem za pozornosť Michal Samiec Adaptive systems: Opportunities and Challenges in Evaluation