Ocenianie szkolne Teoria budowy testów osiągnięć szkolnych

1. Ocenianie szkolneTeoria budowy testów osiągnięć szkolnych Roman Dolata Wydział Pedagogiczny UW rdolata@uw.edu.pl

2. Kontakt Roman Dolata • Dyżury Piątki od 16 do 17, s. 314 • Poczta rdolata@uw.edu.pl

3. Cele kursu • Opanowanie umiejętności: • tworzenia nauczycielskich testów osiągnięć szkolnych • oceny jakości i interpretacji wyników standaryzowanych testów osiągnięć szkolnych • wykorzystania wyników egzaminacyjnych do ewaluacji wewnątrzszkolnej (metoda EWD)

4. Literatura, zaliczenie • Literatura: M. Jakubowski, A. Pokropek (2009) Badając egzaminy. Podejście ilościowe w badaniach edukacyjnych. Centralna Komisja Egzaminacyjna. Str. 8-72. (do pobrania ze strony www.ewd.edu.pl) Strona www.ewd.edu.pl • Zaliczenie Opracowanie, przeprowadzenie i przeanalizowanie wyników testu osiągnięć edukacyjnych lub Analiza efektywności nauczania w wybranym gimnazjum, LO lub technikum

5. Czym jest ocenianie szkolne?

6. Czym jest test osiągnięć szkolnych? • Mała próbka zadań, której używamy do oszacowania opanowania przez uczniów szerokiego wachlarza wiadomości i umiejętności (Daniel Koretz) Cechy formalne testu: - obiektywność • standaryzacja • liczbowa postać wyniku

7. Podstawowe pojęcia statystyczne przydatne przy konstrukcji testów i analizie ich wyników

8. Rozkład liczebnościWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

9. Rozkład procentowyWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

10. Rozkład skumulowany, procentowyWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

11. Podstawowe parametry rozkładu1. Miary tendencji centralnej i inne miary pozycji Wyniki sprawdzianu 2009, rozkład dla kraju, n=400887 • Średnia arytmetyczna x: 22,6 • Mediana Me: 23 • Pierwszy kwartyl (25 percentyl): 17 • Drugi kwartyl (mediana, 50 percentyl): 23 • Trzeci kwartyl (75 percentyl): 28

12. Podstawowe parametry rozkładu2. Miary zmienności wynikówWyniki sprawdzianu 2009, rozkład dla kraju, n=400887 średnia 3. kwartyl 1. kwartyl • Wariancja: 58,2 • Odchylenie standardowe: 7,6 • Odchylenie kwartylowe (ćwiartkowe): 11

13. Porównanie dwóch rozkładówSprawdzian 2009, dwie szkoły

14. Badanie współzmienności wyników dwóch testów • Czy zmianom jednej zmiennej towarzyszą zmiany drugiej zmiennej? • Analiza graficzna: wykresy rozrzutu • Możliwe do zastosowania statystyki: - współczynnik korelacji r Pearsona - współczyniki regresji

15. Korelacja dodatnia (pozytywna)współczynnik korelacji wyższy od zera

16. Korelacja ujemna (negatywna) współczynnik korelacji niższy od zera

17. Brak korelacji (zerowa)współczynnik korelacji bliski zeru

18. Korelacja nieliniowa

19. Konstruowanie testów osiągnięć szkolnych

20. Testy osiągnięć a testy zdolności

21. Typy testów osiągnięć szkolnych • Przesiewowe (minimum kompetencji), szerokiego stosowania, selekcyjne • Testy różnicujące i testy kryterialne • Testy mocy i testy szybkości

22. Schemat konstrukcyjny testów osiągnięć szkolnych Cele kształcenia Zadania testowe Badania pilotażowe – wybór zadań, określenie rzetelności testu Ostateczna postać testu Wynik surowy Skalowanie Wynik testu Normy wykonania

23. Elementy składowe testu 1. Lista celów edukacyjnych 2. Plan testu 3. Zadania testowe 4. Schematy punktacji 5. Kwestionariusz testu i instrukcja testowania 6. Normy wykonania testu: ilościowe i treściowe

24. Lista celów edukacyjnych • Fundament budowy testu • Cele dotyczą wiadomości i umiejętności, które mają opanowywać uczniowie, a nie czynności nauczyciela • Cele muszą być sformułowane w sposób jasny i jednoznaczny • Lista celów nie powinna być zbyt długa; gdy zbyt długa: • łączenie celów w ogólniejsze • wyznaczenie priorytetów

25. Plan testu • W najprostszej postaci tabela o postaci:

26. Plan testu taksonomia ABC na podstawie B. Blooma

27. Plan testu: przykład kursu statystyki

28. Zadania testowe • Zadanie testowe to wskaźnik opanowania celu edukacyjnego • By rzetelnie wypowiadać się o opanowaniu celu potrzebujemy wielu wskaźników • W wypadku szczegółowego celu wystarczy kilka zadań testowych • W wypadku ogólnych celów potrzeba znacznie więcej zadań testowych

29. Zadania testowe: klasyfikacja

30. Schemat punktacji • Schematy punktacji do zadań zamkniętych • Problem tzw. punktów ujemnych • Schematy punktacji do zadań otwartych • Problem rzetelności oceny wykonania zadań otwartych

31. Kwestionariusz testu i instrukcja przeprowadzenia testowania • Szata graficzna testu • Problem praw autorskich • Kolejność zadań • Od najłatwiejszych do najtrudniejszych • Instrukcja przeprowadzenia testu • Standaryzacja sytuacji testowej • Limit czasu: testy mocy vs testy szybkości

32. Norma ilościowa wykonania testu • Interpretacja ilościowa wyniku testu: wynik testu na tle rozkładu wyników w grupie odniesienia • Najprostsza norma: odniesienie wyniku do średniej w grupie odniesienia • Standaryzacja wyniku: • skala staninowa • skale o zadanej średniej i odchyleniu standardowym • skale pozycyjne: centyle

33. Norma treściowa • Wynik testu jako miara opanowania celów edukacyjnych • Najprostsza norma treściowa: wskazanie od jakiego wyniku można uznać, że cel został opanowany w stopniu pozwalającym na dalsze uczenie się • Złożone normy treściowe: zdefiniowanie kilku poziomów opanowania celu • Problem kumulatywności testu

34. Trafność testu

35. Trafność w testach osiągnięć • Test jest trafny, gdy: • uczniowie wykonują, te operacje umysłowe, na których nam zależy • możemy dostać na to dowód

36. Trafność zadania testowego

37. Trafność zadania - problemy Przykład: • Badana umiejętność: zasób słownikowy dziecka

38. Trafność zadania - problemy Przykład: • Badana umiejętność: zasób słownikowy dziecka, rozpoznawanie błędnego użycia słowa.

39. Trafność zadania zamkniętego - problemy • Czy prawidłowa odpowiedź jest na pewno poprawna, a dystraktory błędne? • Jakość dystraktorów: • Czy są prawdopodobne? • Czy zawierają typowe błędne przekonania uczniów? • Czy wykorzystują prawdziwe stwierdzenia, które nie są poprawną odpowiedzią?

40. Trafność zadania - problemy • Czy treść zadania (polecenie, pytanie, możliwe odpowiedzi, rysunki i schematy) jest jednoznaczna, jasna i zrozumiała? • Język odpowiedni do wieku ucznia. • Główna myśl w pytaniu, nie w odpowiedziach. • Czy w zadaniu nie ma nadmiaru słów? • Czy w pytaniu i możliwych odpowiedziach nie ma negacji? Jeśli musi być, czy jest wyróżniona? • Czy poprawna odpowiedź jest dłuższa od dystraktorów? • Czy występują duże kwantyfikatory: zawsze, nigdy, całkowicie, absolutnie.

41. Metody analizy trafności • Analiza treściowa zadań - jw • Analiza jakościowa rozwiązywania zadań przez uczniów (Jak rozwiązywałeś ten test? – technika głośnego myślenia) • Analiza statystyczna: związek z innymi miarami odniesienia

42. Rzetelność testu

43. Rzetelność testu • Każdy pomiar obarczony jest niepewnością pomiarową • Klasyczne ujęcie niepewności pomiarowej wynik empiryczny = wynik prawdziwy + błąd pomiaru Wynik prawdziwy: średni wynik z nieskończonej liczby powtórzeń testu

44. Błąd pomiaru Wynik ucznia w teście Uczeń Wysokie Niskie Wyniki

45. Błąd pomiaru Wynik ucznia w teście Wynik prawdziwy Uczeń Błąd pomiaru Wysokie Niskie Wyniki

46. Główne źródła błędu pomiaru w testach osiągnięć szkolnych • Arbitralność doboru zadań testowych • Niedostatki standaryzacji procedury testowej • Zgadywanie w zadaniach zamkniętych • Ocenianie zadań otwartych • Ściąganie • Losowe wahania dyspozycji intelektualnych ucznia • Błędy systematyczne: stronniczość testu

47. Rzetelność punktacji – opis eksperymentuNa podstawie: R. Dolata, E. Putkiewicz, A. Wiłkomirska Reforma egzaminu maturalnego: oceny i rekomendacjeInstytut Spraw Publicznych, badanie sfinansowane przez MENiS

48. Analiza rzetelności systemów punktacji • Przedmiotem analiz były systemy punktacji przygotowane na maturę 2002: • Język polski - wypracowania (arkusz I i III), rozumienie czytanego tekstu (arkusz II). • Historia – test i interpretacja źródeł (arkusz I i II). • Matematyka – poziom podstawowy i rozszerzony (arkusz I i II).

49. Procedura badania rzetelności • Dobór prac. • Przygotowanie prac do ponownego sprawdzania. • Dobór egzaminatorów.

50. Problem trafności ekologicznej eksperymentu • Czynniki mogące zawyżać oszacowanie rzetelności: - dobór egzaminatorów (posługiwanie się dobrze znanym schematem punktacji), - pominięcie opcji (polski, historia). • Czynniki mogące zaniżać oszacowanie rzetelności: - upływ czasu, - brak procedur oceniania grupowego