F-Group

1. F-Group Jakub Šimko, Robo Móro, Robo Horváth, Peter Dulačka, Jožo Harinek

2. Modelová situácia: ALEF otázkovač • Existujúce otázky s odpoveďami študentov • Študenti hodnotia ich správnosť • Spätná väzba od davu • Anotácie, highlighty, linkovanie na dokumenty • Dolovač sémantiky • Situácia • Kurz PSI, 155 študentov • Typický scenár použitia: príprava študenta na test

3. Overovanie správnosti odpovedí • Golden set: hodnotenia učiteľa (diskr. 0 alebo 1) • Vstup: odpovede davu rozptýlené medzi 0 a 1 • Prvý plán: priemer davu • Transformácia odpovedí davu • Dva intervaly (0 až t) (t až 1) • Odpoveď vyhodnotená ak A% hlasovpadne do jedného z intervalov • Možné 3 odpovede davu: Správne, Nesprávne, Neviem • Výstup: • Presnosť • „Odpadovosť“

4. Overovanie správnosti extrahovaných metadát • Goldendataset – len obmedzené použitie • Len na linkovanie do ALEFu • Charakteristické termy (neúplné pokrytie, môže ale pomôcť), očakávaný horší výsledok • Za pomoci 3 expertov, nutnosť konsenzu dvoch • Aposteriori • Na vyhodnotenie liniek mimo ALEF • Posúdenie termov ktoré neprešli, očakávaný lepší výsledok • 2 hodnotiaci experti, nutná zhoda oboch

5. Vyhodnotenie prínosov pre študenta(naučil sa niečo?) • Minimálne 2 skupiny • Učenie sa bez použitia nástroja • Učenie sa s nástrojom • (Učenie sa s časťou funkcionality) • Problémy • Málo participujúcich študentov, kvantitatívne skoro nevyhodnotiteľné • Problémy s dlhodobejším experimentom • Cesta von: kvalitatívne • Dotazník po experimente • Kontrolovaný experiment, interview • Implicitná spätná väzba: kam sa preklikávali, koľko času nad otázkou strávili