510 likes | 787 Views
Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół. Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski email: mjakubowski@uw.edu.pl wrzesień 2008. Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/.
E N D
Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski email: mjakubowski@uw.edu.pl wrzesień 2008 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Program prezentacji • Jak możemy liczyć EWD? • Precyzja i zmienność jednorocznych wskaźników EWD • EWD gimnazjum szacowane dla 3 roczników • Ewaluacja nauczania metodą EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
I. METODY EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Metody szacowania EWD dla gimnazjum Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • EWD jako różnica między średnimi wynikami uczniów na egzaminach (lub staninami wyników) • EWD jako średnia reszt z równania regresji na danych indywidualnych uczniów • EWD jako efekt stały w regresji • EWD jako efekt losowy w regresji • EWD jako efekt losowy z losowym nachyleniem wyników sprawdzianu • EWD z wielokrotnym pomiarem umiejętności uczniów
EWD jako różnica średnich Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Obliczamy średni wynik uczniów danego gimnazjum ze sprawdzianu • Obliczamy średni wynik uczniów na egzaminie gimnazjalnym • Przewidujemy za pomocą regresji na poziomie średnich dla szkół wynik egzaminu gimnazjalnego • EWD j-tego gimnazjum to różnica między rzeczywistym i przewidywanym średnim wynikiem Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
EWD jako różnica średnich c.d. Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • metoda ta operuje średnimi na poziomie szkół, a nie danymi indywidualnymi, • ale i tak musimy sięgnąć do danych indywidualnych • metoda ta niepotrzebnie traci dostępne informacje • nie pozwala ocenić precyzji EWD • jeśli korzystamy ze stanin a nie wyników punktowych to precyzja i rzetelność jest bardzo niska Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
EWD jako średnia reszt Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • szacujemy równanie regresji dla całej Polski, gdzie x to wynik ucznia na sprawdzianie, y to wynik na egzaminie gimnazjalnym, D to wektor cech indywidualnych (płeć i dysleksja), ε to błąd losowy • EWD to średnia różnic między wynikiem uzyskanym a przewidywanym dla każdego ucznia Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
EWD jako średnia reszt Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników
EWD jako średnia reszt Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • to jest metoda przyjęta dla EWD jednorocznikowego • pozwala oszacować przedziały ufności EWD, a więc daje podstawę do statystycznie uprawnionych porównań między szkołami • metoda ta otwiera też drogę do analiz wewnątrzszkolnych lub dla dowolnych grup uczniów • EWD można dowolnie liczyć mając jedynie tabele predykcji wyników egzaminu gimnazjalnego Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
EWD jako efekt stały lub losowy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • szacujemy podobne równanie regresji dla całej Polski, jednak w równaniu uwzględniono efekt uj dla każdego gimnazjum • Efekt uj można interpretować jako przesunięcie w pionie krzywej regresji dla całej szkoły • Oszacowany efekt to EWD gimnazjum • W metodzie z efektami losowymi zakładamy, że efekty mają rozkład zbliżony do normalnego • mało wiarygodne oceny EWD są przy tym „ściągane” do przeciętnej, czyli do zera
EWD jako efekt stały Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników
EWD jako efekt stały lub losowy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • są to poprawne metody liczenia EWD ze statystycznego punktu widzenia • jednak mniej przejrzyste • stąd jednoroczne EWD będzie dalej liczone metodą średnich z reszt regresji, ale już 3 rocznikowe metodą efektów stałych lub losowych • metoda efektów losowych dominuje obecnie na świecie • przy wielu próbach daje oceny EWD najbliższe prawdziwym Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
EWD z losowym nachyleniem wyników sprawdzianu Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • w tej metodzie szkole przypisywany jest nie tylko efekt losowy przesuwający całą krzywą regresji w zależności od EWD szkoły, ale i nachylenie wyników sprawdzianu może być w każdej szkole inne • w ten sposób nachylenie wyników sprawdzianu może się w każdej szkole różnić, przy czym przy jego ocenie korzystamy z wiedzy o całej populacji • pozwala to oszacować EWD szkoły osobno dla uczniów słabszych i dla uczniów z lepszymi wynikami ze sprawdzianu
Na ile EWD oszacowane różnymi modelami się różni? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji
Podsumowanie: modele EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • wybór modelu ma niewielkie praktyczne konsekwencje • oprócz EWD z losowym nachyleniem Co poza wyborem modelu EWD? • oszacowanie modeli dla każdego roku • kwestia błędu pomiaru • kwestia zrównania wyników egzaminów • niepotrzebne w przypadku modeli dla jednego roku • wskazane w przypadku modeli dla danych z kilku lat • kwestia efektu egzaminatora • rozwiązana przez wyłączenie „podejrzanych” pytań Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
II. PRECYZJA i zmienność Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Precyzja i zmienność Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Modele EWD powinny jak najdokładniej wskazywać „prawdziwą”, ukrytą wartość odpowiadającą temu co chcemy zmierzyć jako EWD • Model EWD jest tym lepszy, im bliższy jest precyzyjnego określenia przyrostu wiedzy uczniów w każdym z gimnazjów • Precyzję można oceniać ze względu na kilka kryteriów • Jedne z nich dotyczą dokładności oceny EWD w danym roku • Inne dotyczą stabilności EWD między latami • Waga kryterium zależy od kontekstu użycia EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Statystyki dla punktowego EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji
Statystyki dla szerokości przedziałów ufności Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji
Korelacja między EWD dla różnych lat oszacowanych tą samą metodą Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Procent gimnazjów z pozytywnym lub negatywnym EWD w obydwu latach Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
III. EWD dla 3 roczników Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
EWD dla 3 roczników Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • EWD dla jednego roku (jednego rocznika, czy raczej kohorty uczniów) jest dobrym narzędziem do analizy efektów nauczania z tą grupą uczniów • Precyzja i stabilność takich wskaźników pozostawiają jednak wiele do życzenia • Jeśli chcemy ocenić pracę szkoły w jak najbardziej precyzyjny i stabilny sposób, to powinniśmy podsumować informację z kilku lat, dając jeden wskaźnik EWD na cały okres • wskaźnik szacowany dla kilku roczników będzie siłą rzeczy bardziej precyzyjny i stabilny, bo wykorzystuje niemal 3 razy większą liczbę obserwacji
Dlaczego 3 roczniki? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • 3 lata wydają się dobrym okresem dla dokonania podsumowania działalności szkoły • dla 3 roczników skład nauczycielski i organizacja pracy nie zmieniają się tak bardzo • kraje z większym doświadczeniem przyjmują taki okres jako podstawę oceny szkół (np. Holandia) • docelowo wskaźnik taki będzie szacowany co roku, dla ostatnich 3 roczników • określony będzie też trend efektywności nauczania szkoły • dopiero ocena trendu pozwoli określić kierunek rozwoju szkoły… ale to dopiero za kilka lat Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Ile gimnazjów posiada dane z 3 lat? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji
Precyzja modeli jednorocznych a precyzja EWD dla 3 roczników Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji
IV. EWD jako narzędzie Ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Ewaluacja czego? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Na poziomie kraju lub regionu: • polityki edukacyjnej • polityki samorządów • programów nauczania Na poziomie szkoły lub gminy: • postępów grup uczniów • pracy szkół • pracy nauczycieli • lokalnej programów edukacyjnych • metod nauczania
W jaki sposób? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Na poziomie kraju lub regionu, gdzie dostępna jest duża liczba obserwacji, można wykorzystać model regresji EWD z uwzględnieniem interesujących nas zmiennych • Na poziomie gminy czy jednej lub kilku gimnazjów można wykorzystać oszacowania modeli EWD dla kraju i porównywać średnie „reszty” między grupami • Jeśli mamy wyniki kilkuset uczniów to także możemy stosować modele regresji EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Analiza dla szkół lub gminy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Analiza „reszt” uczniów • porównanie między szkołami • porównanie między klasami • testy na różnice średnich • testy na różnice w zróżnicowaniu postępów uczniów • wyjaśnianie poszczególnych przypadków - praca z nauczycielami • Przykłady autorstwa dr Ewy Stożek (www.ewd.edu.pl)
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Problem: wynik niżej średni wdrażamy program naprawczy Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD GH = 1,21 uczniowie o obniżonych wymaganiach edukacyjnych
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Dlaczego klasa B uzyskała nieznacznie lepsze wyniki?
Przykład II.3 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/ Klasa B zdecydowanie lepiej poradziła sobie z rozprawką oraz z interpretowaniem poezji. Jaki wpływ na to miały metody pracy nauczyciela?
stanin wyżej średni stanin wyżej średni
Duże zróżnicowanie wyników na wejściu w szkole. „Problem”: różna efektywność pracy z uczniami o różnym potencjale
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji
zróżnicowanie EWD w klasach Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji
Ewaluacja na poziomie kraju Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Zastosowanie modeli EWD do danych z całej populacji uczniów • Pierwszy problem: czy efektywność szkół zależy od wydatków w przeliczeniu na ucznia? • Drugi problem: czy wielkość klas wpływa na przyrost wiedzy uczniów?
Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www.oskko.edu.pl/kongres/
Podsumowanie • Wybór modelu EWD ma niewielkie praktyczne znaczenie • pozostają jednak kwestie wpływu błędu pomiaru, zrównywania wyników itp. • EWD trzeba liczyć z danych indywidualnych i podawać jako przedział ufności • EWD 3 rocznikowe jest dużo precyzyjniejsze i będzie stanowić podstawę oceny pracy szkoły • Czy model EWD powinien w większym stopniu uwzględniać środowisko nauczania? Badania trwają…
Podsumowanie • EWD może być wykorzystywane jako narzędzie ewaluacji • Ewaluacja metodami EWD może być prowadzona dla jednej lub kilku szkół. Jest wtedy mniej precyzyjna, ale można (trzeba) ją połączyć ze znajomością lokalnego kontekstu • EWD powinno służyć do ewaluacji polityki oświatowej • to potężne narzędzie, opierające się na obiektywnym pomiarze umiejętności uczniów i olbrzymiej liczbie danych • jego stosowanie wymaga jednak znajomości metod statystycznych i świadomości ich ograniczeń