Problémy s hodnocením pedagogické efektivity e-learningu

1. Problémy s hodnocením pedagogické efektivity e-learningu Jiří Mareš Univerzita Karlova v Praze Lékařská fakulta v Hradci Králové

2. Struktura přednášky • charakteristiky dosavadních výzkumů efektivity e-learningu • nové podněty pro výzkum efektivity a výzkumná realita • terminologické problémy s definováním efektivity • možné podoby pedagogické efektivity • pokusy o taxonomii pedagogické efektivity (ukázky) • důraz na průběh učení • nové proměnné komplikující učení • otevřené otázky

3. Dosavadní výzkumy efektivity e-learningu 1 • existuje variabilita typů výzkumného projektu (měla by být experimentální a kontrolní skupina, nikoli jen rozdíl posttest –prestest) • výzkumy se liší stupněm školy (od ZŠ přes VŠ až vzdělávání dospělých) • liší se zařazením e-learningu do určité formy studia (do prezenční, kombinované, distanční) • liší se obsahovou náplní a typem učiva (od „měkkých“ humanitních předmětů po „tvrdé“ předměty)

4. Dosavadní výzkumy efektivity e-learningu 2 • výzkumy se liší rozsahem zpracovaného učiva (od dílčích témat přes celé vyučovací předměty až po celé studijní obory) • výzkumy se liší typem používaného e-learningu (od individuální práce převážně s textem, přes multimediální aplikace až po složité síťové aplikace) • výzkumy se liší typem používaného softwaru - platformou • výzkumy se liší autorstvím programu (učitel, multiprofesní tým na škole, profesionální firma) • výzkumy se liší individuálními zvláštnostmi studentů (ve hře nejsou jen sociologické charakteristiky jako je věk, pohlaví, dosavadní vzdělání, dosavadní praxe, sociální situovanost)

5. Nové podněty z pedagogické psychologie (Hadwin, Winne, Nesbit, 2005) • softwarové technologie jsou nyní ve školách pomocníkem (doufejme pozitivním – říkají autoři) téměř ve všech předmětech • e-learning vytváří nové podmínky, za nichž se studenti učí a spolupracují oproti tradičnímu učení a vyučování (dodejme, že vědecké poznatky o učení získané dříve, nemusí platit; proto V. Kulič postuloval psychologii řízeného učení) • pokroky v nových oblastech učení vyžadují nové proměnnéa nové přístupy k měření • e-learningové prostředí poskytuje nové možnosti, jak operacionalizovat proměnné související se studentovým učením • softwarové technologie nabízejí možnost zkoumat nezávisle proměnné v jejich dynamice, v jejich vývoji, v jejich složité podmíněnosti; protože studenti pracují s těmito výukovými programy delší dobu, podstatně rozšiřuje možnost longitudinálních výzkumů

6. Jaká je realita? Obvykle se zkoumá: • průběžná úroveň znalostí a dovedností • výstupní úroveň znalostí a dovedností • postoje studentů k e-learningu po absolvování programu • názory na technickou kvalitu programu (grafika, navigace, kvalita multimediálních částí programu apod.) • nákladová efektivita, tj. poměr „cena-výkon“ • A co pedagogická efektivita?

7. Typy pedagogického hodnocení • sumativní, souhrnné, globální: např. výkon vyhovuje-nevyhovuje; student splnil požadavky-nesplnil požadavky; pokračovat v učení-nepokračovat • formativní, zpětnovazební, detailní: pomáhá studentům, učitelům, autorům programu, instituci zjistit, co se daří a co nikoli, co konkrétně je třeba zlepšit

8. Pedagogicko-psychologická terminologie • efektivita (effectivity): • rozdíl mezi výstupním a vstupním stavem • využití pojmu „přidaná hodnota“ ve vzdělávání: Ryška (2007) –Středisko vzdělávací politiky Pedagogické fakulty UK Praha • míra energie vynaložené na dosažení určitého výsledku • (efficiency) • započítávají se též náklady na dosažení cílů • stupeň, v němž je vzdělávací systém úspěšný při optimalizaci vztahů mezi edukačními vstupy a výstupy (UNESCO, 1995) • efektornost (Kulič, 1992): způsobilost řídícího systému nastavovat parametry řízeného systému na očekávané cílové hodnoty → otázky typu: co chceme a co můžeme u studenta e-learningem ovlivnit?

9. Pedagogická efektivita (Kulič, 1980) 1. cílová – typy cílů, které je systém schopen realizovat (kognitivní, afektivní, psychomotorické, sociální) 2. subjektová – charakteristiky populace, která má být vzdělávána a vychovávána 3. rezultativní – krátkodobé i dlouhodobé výsledky učení; absolutní efekt, relativní efekt; efekt u jednotlivce, u skupiny, celé populace; u majority, u minority?

10. Pedagogická efektivita (Kulič, 1980) 4. procesuální – kvantitativní i kvalitativní parametry učení a vyučování 4.1 vnější předpokladové charakteristiky: počet základních a pomocných úloh, počet pokynů, nápovědí, opakování, kroků potřebných k dosažení cíle 4.2 psychofyziologické nákladové charakteristiky: čas potřebný k dosažení cíle, intenzita činnosti, zátěž, únava 4.3 subjektivní prožitkové charakteristiky: zážitky úspěchu a neúspěchu při učení, emoční prožívaní učení, postoje, preference

11. Pedagogická efektivita (Kulič, 1980) 5. nákladová – hodnota společenských prostředků, které byly použity k dosažení výsledku 5.1 přímo použitá pracovní síla: učitelé, informatici, administrativní pracovníci, management atd. 5.2 nepřímo použitá pracovní síla: při přípravě softwaru, při školení učitelů, při instalaci hardwaru 5.3 materiálně technické zajištění: budovy, učebny, hardware atd. 5.4 finanční náklady: pořizovací náklady, instalace, údržba, opravy, vytápění, úklid

12. Možné postupy při měření efektivity • srovnávací studie – porovnávají tradiční vyučování a e-learning; blended learning a e-learning; různé varianty e-learningu • studie zjišťující konečný výsledek, efekt učení (např. rozdíl Epost – Epre; rozdíl Ecíl – Epost; % splnění Epost/Ecíl; relativně možný efekt (Epost – Epre / Emax – Epre) x 100 • studie zjišťující vztah proces-výsledek

13. Nové trendy v hodnocení (Diericková, Dochy, 2001) • je snaha o integraci hodnocení, učení a vyučování (zpětná vazba) • student je aktivní účastník, který sdílí odpovědnost za své učení, dokáže hodnotit sám sebe, dokáže spolupracovat • musí být hodnoceno obojí: nejen výsledky, ale i postup při učení, průběh učení • je třeba používat různých hodnotících nástrojů (nejen didaktických testů) a nevytvářet časový nátlak • řešené úlohy by měly být zajímavé, motivující, smysluplné, autentické, měly by představovat pro studenta výzvu • studenti by se měli naučit přemýšlet nad svým učením, hodnotit svůj postup řešení i progres při učení • praxe se odklání od jednoduchých ukazatelů výsledku učení

14. Typologie pro hodnocení pedagogické efektivity (Makkiová, 2002)

15. Typologie pro hodnocení pedagogické efektivity (Makkiová, 2002)

16. Typologie pro hodnocení pedagogické efektivity (Kuittinenová, 1998)

17. Typologie pro hodnocení pedagogické efektivity (Fresen, 2007)

18. Typologie pro hodnocení pedagogické efektivity (Fresen, 2007)

19. Hlediska pro hodnocení efektivity (Schank, 2002): akronym FREEDOM

20. Procesuální hledisko 1 • počítač dokáže diagnostikovat chyby ve studentově chápání pojmů - software concept mapping tool (Fischer et al., 2002; Feng, Heffernand, 2007) a umí s nimi cíleně pracovat • počítač dokáže diagnostikovat a pro učitele přehledně zpracovat úroveň pokroku, kterého studenti dosáhli v jednotlivých tematických celcích; dokáže identifikovat skupinové i individuální obtíže při učení, včetně typických úloh, které studentům nejdou (Feng, Heffernand, 2007) • počítač dokáže snáze realizovat Vygotského ideu o zóně nejbližšího vývoje, než učitel (student s cílenou pomocí dokáže věci, které by bez ní sám ještě nedokázal) • počítač může průběžně vyhodnocovat motivovanost studenta při učení pomocí tzv. aktivního učebního času • plánovaný čas pro učení (allocated time) • disponibilní čas pro učení, odečteme-li aktivity, které přímo nesouvisí s učením (available time) • aktivní učení čas, tj. čas strávený přímo řešním úloh (engaged time, time-on-task)

21. Procesuální hledisko 2 • počítač může spojovat diagnózu a ovlivňování vybraných osobnostních charakteristik, např. studentovu tendenci přeceňovat se nebo podceňovat se (Kulič, 1992) • subjektivní evidence výsledku činnosti: jste-li si jisti, že Vaše odpověď je správná, přejděte dále; nejste-li si jisti, stiskněte tlačítko … a počítač Vám sdělí, jak má správná odpověď vypadat • čtyři možnosti vztahu mezi objektivní správností a subjektivním pocitem • počítač může průběžně zjišťovat uživatelovy emoce (zejména negativní emoce) a snaží se na ně reagovat (Picardová, Klein, 2002)

22. Procesuální hledisko 3 • adaptivní testování • začíná se úlohami střední obtížnosti • prezentování každé další úlohy záleží na úspěšnosti řešení té předcházející • pokud je student úspěšný, dostává úlohy stále obtížnější, až se dojde k hranici jeho současných možností • pokud je student neúspěšný, dostává úlohy stále snadnější, až se dojde k hranici jeho současných možností • můžeme změřit úroveň nejen průměrných, ale i vynikajících a slabých studentů • testování netrvá tak dlouho jako při tradičních testech a je spolehlivější • je náročné na tvorbu databanky testových úloh a na vhodnou strategii sekvenčního prezentování úloh

23. Procesuální hledisko 4 • počítač může nastolit a procvičovat týmovou práci (computer supported collaborative work) • ukázka hodnocení on-line diskuse o tématu, které je probíráno v kursu XY (Macdonaldová, 2003): • 5 sdělení, kterým jedinec přispěl do skupinové diskuse; každé se musí týkat jiného aspektu a musí doložit jak jedincovu schopnost reagovat na ostatní, tak přispívat k posunu v diskusi • jedincova snaha shrnout dosavadní diskusi • jedincův výrok navrhující skupině další postup spolupráce včetně osobního zhodnocením navrhované strategie

24. Nové proměnné typy proměnných, které komplikují učení (Hadwin, et al., 2005, Fuller et al., 2006) • studentova počítačová gramotnost – objektivní (computer literacy) • subjektivně vnímaná počítačová zdatnost (computer self-efficacy) • počítačová úzkostnost (computer anxiety) • e-mailová úzkostnost (e-mail anxiety) • komunikační ostýchavost (communication apprehension) • zvýšená námaha zraku • vynucená poloha při učení (zvýšená námaha páteře, svalů, šlach atd.) • zvýšené nároky na pozornost: podoba obrazovky, navigace, umístění ovládacích prvků • zvýšená kognitivní zátěž (cognitive load)

25. Nové proměnné typy proměnných, které komplikují učení • frustrace z nedokonalosti programu: • nedostatečná adaptivita na individuální styl učení • absence vysvětlení příčiny chyb • absence cílené pomoci při učení • rušivost použitých efektů (vizuálních, auditivních) • nedostatečné rozlišení hierarchických úrovní • pocity sociální izolace (chybí přímý mezilidský kontakt s učitelem, se spolužáky) • nerespektování autorských práv, etických aspektů učení - elektronické podvádění

26. Nové okolnosti, kterém komplikují měření pedagogické efektivity (Shale, Gomez, 1998)

27. Otevřené otázky • Které všechny„ parametry“ studenta se dají e-learningem ovlivnit? • Nakolik výzkumy efektivity e-lerningu počítají kromě „vnějšího řízení“ také s „autoregulací“ studentova učení? • Platí získané poznatky obecně, univerzálně pro všechny typy, skupiny studentů? • Platí získané poznatky obecně, univerzálně pro všechny typy učiva, pro všechny vyučovací předměty?