Opava, 13. října 2006

1. Opava, 13. října 2006 CO JE DOBRÉ VĚDĚT O TESTOVÁNÍ Mgr. Irena Smetáčková, CERMAT

2. Obsah semináře • Test • Tvorba testu • Testové úlohy a jejich tvorba • Hodnocení testových úloh a testů • Ukázky vyhodnocení

3. Co je test ? = zkouška se shodnými podmínkami pro všechny testované jedince a s výsledky číselného charakteru

4. Co je didaktický test ? = test použitý v pedagogické situaci za účelem ověření úrovně znalostí a dovedností žáků • vstupní test • průběžný test • výstupní test

5. VLASTNOSTI TESTU • objektivita, srovnatelnost • citlivost • validita • reliabilita

6. OBJEKTIVITASROVNATELNOST Výkon v testu závisí pouze na znalostech a dovednostech žáka. Formulaceúlohy a kritéria hodnocení musí být jednoznačná. Úlohy musí ověřovat znalosti a dovednosti, nikoliv postoje. Jaká kniha je Vaše oblíbená? Babička; Tenká; Česká...

7. CITLIVOST Který z uvedených států neleží v Asii? A) Vietnam B) Korea C) Polsko D) Čína A) Laos B) Malawi C) Omán D) Kyrgyzstán V kterém ročním období opadává listí ze stromů? A) jaro B) léto C) podzim D) zima

8. CITLIVOST • Test musí rozlišovat výkony různých žáků. • Výkony žáků by měly být v testu přiměřeně rozloženy. • Optimální citlivost testu je dána jeho účelem.

9. VALIDITA Test měří skutečně to, k čemu byl vytvořen. Pokud není test validní, není možné na základě výsledků vyslovit závěr o úrovni znalostí a dovedností žáků. Obec Kovač má 250 obyvatel. Každý rok se v obci narodí nebo se přistěhují 3 noví obyvatelé. Každý rok 2 obyvatelé zemřou nebo se odstěhují. Vypočítejte, za kolik let se obec Kovač stane městem.

10. RELIABILITA Test měří přesně a spolehlivě. Přesné měření znamená, že výsledek v testu vypovídá o skutečných znalostech a dovednostech žáka. Spolehlivé měření znamená, že při opakovaném měření žák dosáhne obdobného výsledku v testu.

11. DRUHY DIDAKTICKÝCH TESTŮ Možná kritéria třídění testů: • Forma zadání písemný, ústní, Computer adaptive testing,... • Druh výsledku učení znalosti, kognitivní dovednosti, psychomotorické dovednosti,... • Interpretace výsledků rozlišující, ověřující

12. TESTY ROZLIŠUJÍCÍ • Cíl testu: vzájemné porovnání žáků • Interpretace výsledků: pořadí žáků podle skóre • Vlastnosti testu: vysoká citlivost • Konstrukce testu: obtížné úlohy s vysokou citlivostí • Použití testu: např. přijímací zkoušky

13. TESTY OVĚŘUJÍCÍ • Cíl testu: ověřit splnění předem daných požadavků • Interpretace výsledků: míra splnění předem daných požadavků, porovnání s „ideálním žákem“ • Vlastnosti testu: validita vůči vymezenému učivu • Konstrukce testu: úlohy různých obtížností, zastoupení všech předem daných požadavků • Použití testu: např. test v autoškole

14. TVORBA TESTU FÁZE TVORBY TESTU: 1) Plánování testu - cíl, obsah, specifikační tabulka 2) Sestavování testu - výběr úloh, řazení úloh, odhad času, volba způsobu hodnocení 3) Ověřování testu - odborné posouzení, pilotáž 4) Použití testu

15. TESTOVÉ ÚLOHY Přečtěte si následující text a odpovězte na úlohu 2. Výchozí text k úloze 2 Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky. Úloha 2 Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test. A) přijímací zkoušky na vysokou školu B) olympiáda z anglického jazyka C) televizní soutěž ve znalostech českých dějin D)* státní jazyková zkouška z německého jazyka

16. TESTOVÉ ÚLOHY STRUKTURA TESTOVÉ ÚLOHY: • Instrukce • Výchozí informace (text, graf, obrázek) • Kmen úlohy • Alternativy (správná odpověď a distraktory) • Správné řešení, kódový klíč

17. TESTOVÉ ÚLOHY Přečtěte si následující text a odpovězte na úlohu 2. Výchozí text k úloze 2 Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky. Úloha 2 Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test. A) přijímací zkoušky na vysokou školu B) olympiáda z anglického jazyka C) televizní soutěž ve znalostech českých dějin D)* státní jazyková zkouška z německého jazyka instrukce výchozí text zadání alternativy správné řešení

18. s výběrem odpovědi dichotomické přiřazovací uspořádací se stručnou odpovědí se širokou odpovědí TESTOVÉ ÚLOHY TYPY TESTOVÝCH ÚLOH PODLE ZPŮSOBU ŘEŠENÍ ÚLOHY UZAVŘENÉ ÚLOHY OTEVŘENÉ

19. ÚLOHY S VÝBĚREM ODPOVĚDI = volba odpovědi ze tří až pěti nabízených alternativ Který z uvedených států nesousedí s Českou republikou? A) Polsko B) Rumunsko C) Německo D) Slovensko Více správných odpovědí? Riziko uhádnutí správné odpovědi?

20. DICHOTOMICKÉ ÚLOHY = volba odpovědi ze dvou nabízených alternativ Rozhodněte, zda je uvedené tvrzenípravdivé. Hlavním městem České republiky je Praha.ANO) NE) Rozhodněte, zda jsou uvedená tvrzení o Českérepublice pravdivá. Hlavním městem České republiky je Praha.ANO) NE) Počet obyvatel ČR je 5 milionů.ANO) NE) Nejvyšším pohořím v ČR je Šumava.ANO) NE) Nejdelší řekou České republiky je Vltava.ANO) NE)

21. ÚLOHY PŘIŘAZOVACÍ = přiřazení pojmů, slov, čísel z jednoho sloupce k pojmům, slovům, číslům z druhého sloupce Přiřaďte ke každému z uvedených států (1–3) jeho hlavní město (A–D). 1. Itálie 2. Francie 3. Rakousko A) Bern B) Paříž C) Řím D) Vídeň Jeden sloupec musí být delší, aby každý krok byl rozhodnutím

22. ÚLOHY USPOŘÁDADÍ = uspořádání pojmů, slov nebo čísel podle určitého pravidla Seřaďte uvedená města (A–D) podle počtu obyvatel od nejmenšího k největšímu. A) Hradec Králové B) Brno C) Vlašim D) Kutná Hora Hodnocení jednotlivých pořadí nebo uspořádaných dvojic?

23. ÚLOHY SE STRUČNOU ODPOVĚDÍ = vytvoření odpovědi v rozsahu jednoho slova, čísla či slovního spojení Napište název úřadu, na kterém se registrují žadatelé o zaměstnání. _____________________________ (úřad práce, pracovní úřad) Obtížné hodnocení – vytvoření klíče všech adekvátních odpovědí

24. ÚLOHY SE ŠIROKOU ODPOVĚDÍ = vytvoření rozsáhlé odpovědi, např. výpočet s uvedením postupu, pojednání v několika větách, esej atd. Popište průběh II. světové války. _______________________________________________ Uveďte dva argumenty pro přímou volbu prezidenta a dva argumenty proti přímé volbě prezidenta. ______________________________________________ Obtížné hodnocení – vytvoření kritérií

25. TESTOVÉ ÚLOHY TYPY TESTOVÝCH ÚLOH PODLE CÍLŮ UČENÍ ÚLOHY ZNALOSTNÍ ÚLOHY DOVEDNOSTNÍ = ověřují konkrétní = ověřují aplikaci znalosti znalostí v nových situacích, při řešení problémů Bloomova taxonomie kognitivních cílů

26. ZNALOSTNÍ A DOVEDNOSTNÍ ÚLOHY Přečtěte si následující text a odpovězte na úlohu 2. Výchozí text k úloze 2 Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky. Úloha 2 Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test. A) přijímací zkoušky na vysokou školu B) olympiáda z anglického jazyka C) televizní soutěž ve znalostech českých dějin D)* státní jazyková zkouška z německého jazyka

27. ZNALOSTNÍ A DOVEDNOSTNÍ ÚLOHY Úloha 2 Které české označení didaktického testu se používá pro NR-test ? A) ověřující B) kontrolní C) psychologický D)* rozlišující

28. PRAVIDLA PRO TVORBU ÚLOH • Formulovat úlohy stručně, srozumitelně a jednoznačně. • Nepoužívat nebo zvýraznit informace, které by mohly být zavádějící (např. zápory). • Vybrat správný typ úlohy k ověřovanému učivu. • Ověřovat pouze znalosti a dovednosti, které si žáci mohli osvojit ve škole. Pamatovat na nebezpečí sociální či genderové zatíženosti. • Vhodně určit bodové ohodnocení správných odpovědí. • Mít na paměti způsob technického zpracování odpovědí.

29. FÁZE TVORBY ÚLOH • vymezení učiva, které má být úlohou ověřeno, a hloubka osvojení učiva (východiskem je specifikační tabulka testu) • vytvoření úlohy autorem • posouzení úlohy revizním týmem, odborným recenzentem a jazykovým korektorem • ověření úlohy prostřednictvím try-outu a pilotáže • úprava úlohy na základě výsledků posuzování a ověřování • vložení úlohy do banky testových úloh a následné použití v testu

30. II. ČÁST POSUZOVÁNÍ TESTOVÝCH ÚLOH VÝSTUPY PRO ŽÁKY, VÝSTUPY PRO ŠKOLY ROZBOR UKÁZEK DISKUSE

31. TESTOVÉ ÚLOHY POSUZOVÁNÍ TESTOVÝCH ÚLOH • ověřované znalosti a dovednosti – vztah k učivu, vztah k vymezeným požadavkům (katalog požadavků) • obtížnost úloh • citlivost úloh • postavení úlohy v rámci testu

32. HODNOCENÍ PSYCHOMETRICKÉ CHARAKTERISTIKY = číselné údaje popisující test, úlohy nebo výkony žáků vypočtené na základě žákovských řešení PSYCHOMETRICKÉ CHARAKTERISTIKY TESTU PSYCHOMETRICKÉ CHARAKTERISTIKY TESTOVÉ ÚLOHY PSYCHOMETRICKÉ CHARAKTERISTIKY VÝKONU ŽÁKA V TESTU POLOŽKOVÁ ANALÝZA

33. HODNOCENÍ HODNOCENÍ TESTU PRŮMĚRNÉ SKÓRE = průměr celkového počtu bodů všech testovaných žáků PRŮMĚRNÁ ÚSPĚŠNOST = poměr průměrného skóre a maximálního možného vyjádřený v procentech REALIABILITA = spolehlivost a přesnost testu HODNOCENÍ ÚLOH OBTÍŽNOST = podíl mezi počtem žáků, kteří vyřešili úlohu správně, a počtem všech testovaných žáků (nebo úspěšnost žáků v úloze) CITLIVOST = schopnost úlohy rozlišovat mezi úspěšnými a neúspěšnými žáky v testu

34. HODNOCENÍ HODNOCENÍ ŽÁKŮ CELKOVÉ SKÓRE = celkový počet bodů v testu CELKOVÁ ÚSPĚŠNOST= poměr celkového skóre a maximálního možného skóre HODNOCENÍ SKUPINY ŽÁKŮ PRŮMĚRNÉ SKÓRE = průměr celkového počtu bodů všech žáků ve skupině PRŮMĚRNÁ ÚSPĚŠNOST= poměr průměrného skóre a maximálního možného ÚSPĚŠNOST ŽÁKŮ V ÚLOZE = podíl mezi počtem žáků, kteří vyřešili úlohu správně, a počtem všech žáků ve skupině vyjádřený v procentech

35. POLOŽKOVÁ ANALÝZA

36. UKÁZKA TESTOVÉ ÚLOHY Který z uvedených znaků patří mezi současné státní symboly České republiky? A) B) C) D)

37. UKÁZKA TESTOVÉ ÚLOHY Přiřazení úlohy ke katalogu Občan a demokracie IV.2.1A - Žák dokáže popsat základní symboly české státnosti a objasnit jejich význam. Typ úlohy uzavřená – s výběrem odpovědi s jednou správnou odpovědí

38. UKÁZKA TESTOVÉ ÚLOHY Psychometrické charakteristiky úlohy Počet žáků 4854 Obtížnost úlohy 0,96 Diskriminace úlohy 0,21 Úspěšnost žáků 96 %

39. UKÁZKA TESTOVÉ ÚLOHY Položková analýza

40. UKÁZKA TESTOVÉ ÚLOHY Rozbor upravené úlohy pro žáky s SVP Počet žáků 122 Obtížnost úlohy 0,70 Diskriminace úlohy 0,25 Úspěšnost žáků 70 %

41. UKÁZKA TESTOVÉ ÚLOHY Rozbor podle známek na vysvědčení Počet žáků se známkou 1 3141 Úspěšnost žáků 98 % Počet žáků se známkou 2 1012 Úspěšnost žáků 87 % Počet žáků se známkou 3 535 Úspěšnost žáků 68 % Počet žáků se známkou 4 159 Úspěšnost žáků 55 % Počet žáků se známkou 5 7 Úspěšnost žáků 53 % Rozbor podle pohlaví Počet dívek 2403 Úspěšnost dívek v úloze 89 % Počet chlapců 2451 Úspěšnost chlapců v úloze 98 %

42. UKÁZKA TESTOVÉ ÚLOHY Doplňkové charakteristiky úlohy • Rozbor podle kombinace znaků, např. pohlaví a typ školy • Rozbor podle výsledků v jiných testech • Rozbor složení 10 % žáků s nejlepšími, respektive nejhoršími výsledky • ...

43. VÝSTUPY PRO ŽÁKY A ŠKOLY Testové výsledky umožňují: • Porovnávat úroveň znalostí a dovedností žáků mezi sebou • Porovnávat vývoj znalostí a dovedností jednotlivých žáků • Vytvořit si představu o znalostech a dovednostech žáků dané skupiny • Získat zpětnou vazbu k obsahu a formě výuky • Porovnávat výsledky tříd různých vyučujících (zdroj pro diskusi a zkvalitňování pedagogické práce) • Získat představu o klasifikačních normách • ...

44. Děkuji za pozornost. CERMAT – Centrum pro zjišťování výsledků vzdělávání www.cermat.cz www.esf-kvalita1.cz Tel. 224 507 111 smetackova@volny.cz