Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół

1. Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski email: mjakubowski@uw.edu.pl wrzesień 2008 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

2. Program prezentacji • Jak możemy liczyć EWD? • Precyzja i zmienność jednorocznych wskaźników EWD • EWD gimnazjum szacowane dla 3 roczników • Ewaluacja nauczania metodą EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

3. I. METODY EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

4. Metody szacowania EWD dla gimnazjum Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • EWD jako różnica między średnimi wynikami uczniów na egzaminach (lub staninami wyników) • EWD jako średnia reszt z równania regresji na danych indywidualnych uczniów • EWD jako efekt stały w regresji • EWD jako efekt losowy w regresji • EWD jako efekt losowy z losowym nachyleniem wyników sprawdzianu • EWD z wielokrotnym pomiarem umiejętności uczniów

5. EWD jako różnica średnich Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Obliczamy średni wynik uczniów danego gimnazjum ze sprawdzianu • Obliczamy średni wynik uczniów na egzaminie gimnazjalnym • Przewidujemy za pomocą regresji na poziomie średnich dla szkół wynik egzaminu gimnazjalnego • EWD j-tego gimnazjum to różnica między rzeczywistym i przewidywanym średnim wynikiem Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

6. EWD jako różnica średnich c.d. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • metoda ta operuje średnimi na poziomie szkół, a nie danymi indywidualnymi, • ale i tak musimy sięgnąć do danych indywidualnych • metoda ta niepotrzebnie traci dostępne informacje • nie pozwala ocenić precyzji EWD • jeśli korzystamy ze stanin a nie wyników punktowych to precyzja i rzetelność jest bardzo niska Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

7. EWD jako średnia reszt Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • szacujemy równanie regresji dla całej Polski, gdzie x to wynik ucznia na sprawdzianie, y to wynik na egzaminie gimnazjalnym, D to wektor cech indywidualnych (płeć i dysleksja), ε to błąd losowy • EWD to średnia różnic między wynikiem uzyskanym a przewidywanym dla każdego ucznia Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

8. EWD jako średnia reszt Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników

9. EWD jako średnia reszt Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • to jest metoda przyjęta dla EWD jednorocznikowego • pozwala oszacować przedziały ufności EWD, a więc daje podstawę do statystycznie uprawnionych porównań między szkołami • metoda ta otwiera też drogę do analiz wewnątrzszkolnych lub dla dowolnych grup uczniów • EWD można dowolnie liczyć mając jedynie tabele predykcji wyników egzaminu gimnazjalnego Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

11. EWD jako efekt stały lub losowy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • szacujemy podobne równanie regresji dla całej Polski, jednak w równaniu uwzględniono efekt uj dla każdego gimnazjum • Efekt uj można interpretować jako przesunięcie w pionie krzywej regresji dla całej szkoły • Oszacowany efekt to EWD gimnazjum • W metodzie z efektami losowymi zakładamy, że efekty mają rozkład zbliżony do normalnego • mało wiarygodne oceny EWD są przy tym „ściągane” do przeciętnej, czyli do zera

12. EWD jako efekt stały Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników

14. EWD jako efekt stały lub losowy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • są to poprawne metody liczenia EWD ze statystycznego punktu widzenia • jednak mniej przejrzyste • stąd jednoroczne EWD będzie dalej liczone metodą średnich z reszt regresji, ale już 3 rocznikowe metodą efektów stałych lub losowych • metoda efektów losowych dominuje obecnie na świecie • przy wielu próbach daje oceny EWD najbliższe prawdziwym Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

15. EWD z losowym nachyleniem wyników sprawdzianu Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • w tej metodzie szkole przypisywany jest nie tylko efekt losowy przesuwający całą krzywą regresji w zależności od EWD szkoły, ale i nachylenie wyników sprawdzianu może być w każdej szkole inne • w ten sposób nachylenie wyników sprawdzianu może się w każdej szkole różnić, przy czym przy jego ocenie korzystamy z wiedzy o całej populacji • pozwala to oszacować EWD szkoły osobno dla uczniów słabszych i dla uczniów z lepszymi wynikami ze sprawdzianu

17. Na ile EWD oszacowane różnymi modelami się różni? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

18. Podsumowanie: modele EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • wybór modelu ma niewielkie praktyczne konsekwencje • oprócz EWD z losowym nachyleniem Co poza wyborem modelu EWD? • oszacowanie modeli dla każdego roku • kwestia błędu pomiaru • kwestia zrównania wyników egzaminów • niepotrzebne w przypadku modeli dla jednego roku • wskazane w przypadku modeli dla danych z kilku lat • kwestia efektu egzaminatora • rozwiązana przez wyłączenie „podejrzanych” pytań Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

19. II. PRECYZJA i zmienność Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

20. Precyzja i zmienność Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Modele EWD powinny jak najdokładniej wskazywać „prawdziwą”, ukrytą wartość odpowiadającą temu co chcemy zmierzyć jako EWD • Model EWD jest tym lepszy, im bliższy jest precyzyjnego określenia przyrostu wiedzy uczniów w każdym z gimnazjów • Precyzję można oceniać ze względu na kilka kryteriów • Jedne z nich dotyczą dokładności oceny EWD w danym roku • Inne dotyczą stabilności EWD między latami • Waga kryterium zależy od kontekstu użycia EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

21. Statystyki dla punktowego EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

22. Statystyki dla szerokości przedziałów ufności Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

23. Korelacja między EWD dla różnych lat oszacowanych tą samą metodą Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

24. Procent gimnazjów z pozytywnym lub negatywnym EWD w obydwu latach Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

26. III. EWD dla 3 roczników Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

27. EWD dla 3 roczników Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • EWD dla jednego roku (jednego rocznika, czy raczej kohorty uczniów) jest dobrym narzędziem do analizy efektów nauczania z tą grupą uczniów • Precyzja i stabilność takich wskaźników pozostawiają jednak wiele do życzenia • Jeśli chcemy ocenić pracę szkoły w jak najbardziej precyzyjny i stabilny sposób, to powinniśmy podsumować informację z kilku lat, dając jeden wskaźnik EWD na cały okres • wskaźnik szacowany dla kilku roczników będzie siłą rzeczy bardziej precyzyjny i stabilny, bo wykorzystuje niemal 3 razy większą liczbę obserwacji

29. Dlaczego 3 roczniki? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • 3 lata wydają się dobrym okresem dla dokonania podsumowania działalności szkoły • dla 3 roczników skład nauczycielski i organizacja pracy nie zmieniają się tak bardzo • kraje z większym doświadczeniem przyjmują taki okres jako podstawę oceny szkół (np. Holandia) • docelowo wskaźnik taki będzie szacowany co roku, dla ostatnich 3 roczników • określony będzie też trend efektywności nauczania szkoły • dopiero ocena trendu pozwoli określić kierunek rozwoju szkoły… ale to dopiero za kilka lat Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

30. Ile gimnazjów posiada dane z 3 lat? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

31. Precyzja modeli jednorocznych a precyzja EWD dla 3 roczników Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

32. IV. EWD jako narzędzie Ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

33. Ewaluacja czego? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Na poziomie kraju lub regionu: • polityki edukacyjnej • polityki samorządów • programów nauczania Na poziomie szkoły lub gminy: • postępów grup uczniów • pracy szkół • pracy nauczycieli • lokalnej programów edukacyjnych • metod nauczania

34. W jaki sposób? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Na poziomie kraju lub regionu, gdzie dostępna jest duża liczba obserwacji, można wykorzystać model regresji EWD z uwzględnieniem interesujących nas zmiennych • Na poziomie gminy czy jednej lub kilku gimnazjów można wykorzystać oszacowania modeli EWD dla kraju i porównywać średnie „reszty” między grupami • Jeśli mamy wyniki kilkuset uczniów to także możemy stosować modele regresji EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

35. Analiza dla szkół lub gminy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Analiza „reszt” uczniów • porównanie między szkołami • porównanie między klasami • testy na różnice średnich • testy na różnice w zróżnicowaniu postępów uczniów • wyjaśnianie poszczególnych przypadków - praca z nauczycielami • Przykłady autorstwa dr Ewy Stożek (www.ewd.edu.pl)

36. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Problem: wynik niżej średni  wdrażamy program naprawczy Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

37. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD GH = 1,21 uczniowie o obniżonych wymaganiach edukacyjnych

38. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Dlaczego klasa B uzyskała nieznacznie lepsze wyniki?

39. Przykład II.3 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/ Klasa B zdecydowanie lepiej poradziła sobie z rozprawką oraz z interpretowaniem poezji. Jaki wpływ na to miały metody pracy nauczyciela?

40. stanin wyżej średni stanin wyżej średni

41. Duże zróżnicowanie wyników na wejściu w szkole. „Problem”: różna efektywność pracy z uczniami o różnym potencjale

42. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

43. zróżnicowanie EWD w klasach Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

44. Ewaluacja na poziomie kraju Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Zastosowanie modeli EWD do danych z całej populacji uczniów • Pierwszy problem: czy efektywność szkół zależy od wydatków w przeliczeniu na ucznia? • Drugi problem: czy wielkość klas wpływa na przyrost wiedzy uczniów?

45. Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

46. Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/

49. Podsumowanie • Wybór modelu EWD ma niewielkie praktyczne znaczenie • pozostają jednak kwestie wpływu błędu pomiaru, zrównywania wyników itp. • EWD trzeba liczyć z danych indywidualnych i podawać jako przedział ufności • EWD 3 rocznikowe jest dużo precyzyjniejsze i będzie stanowić podstawę oceny pracy szkoły • Czy model EWD powinien w większym stopniu uwzględniać środowisko nauczania? Badania trwają…

50. Podsumowanie • EWD może być wykorzystywane jako narzędzie ewaluacji • Ewaluacja metodami EWD może być prowadzona dla jednej lub kilku szkół. Jest wtedy mniej precyzyjna, ale można (trzeba) ją połączyć ze znajomością lokalnego kontekstu • EWD powinno służyć do ewaluacji polityki oświatowej • to potężne narzędzie, opierające się na obiektywnym pomiarze umiejętności uczniów i olbrzymiej liczbie danych • jego stosowanie wymaga jednak znajomości metod statystycznych i świadomości ich ograniczeń