MIEJSKI OŚRODEK DOSKONALENIA NAUCZYCIELI w KONINIE ul. Przemysłowa 3d, 62-510 Konin

1. MIEJSKI OŚRODEK DOSKONALENIA NAUCZYCIELI w KONINIE ul. Przemysłowa 3d, 62-510 Konin tel/fax. 632433352 lub 632112756 sekretariat@modn.konin.pl www.modn.konin.pl

2. „Jak analizować wyniki egzaminów zewnętrznych?  Wykorzystanie wniosków z analiz do podniesienia jakości nauczania w szkole.” Szkolenie dyrektorów szkół podstawowych i przedszkoli 10.12.2012.

3. Zagadnienia: • O egzaminach zewnętrznych, • Wskaźniki statystyczne, • Na co zwrócić uwagę? • EWD, • Propozycja działań, • Podsumowanie.

4. O egzaminach • Pierwszym egzaminem zewnętrznym jest sprawdzian po klasie szóstej szkoły podstawowej. • Cechami charakterystycznymi tego egzaminu są: • obiektywizm, • powszechność, • obowiązkowość, • jednolitość, • nie ma możliwości jego niezdania. • Ma on charakter diagnozujący.

5. Drugim egzaminem zewnętrznym w naszym systemie oświatowym jest egzamin gimnazjalny. Charakteryzuje się on tymi samymi cechami co sprawdzian, ale różni się od niego tym, że ma wyraźnie charakter preorientujący. Preorientacja jest bardzo istotnym założeniem tego egzaminu, gdyż powinien pomóc uczniowi w wyborze kierunku dalszego kształcenia.

6. Trzeci z egzaminów zewnętrznych – egzamin maturalny. To jest zupełnie inny egzamin niż dwa wcześniejsze. Jego cechami charakterystycznymi są (również) obiektywizm, jednolitość i powszechność,ale jużnie obowiązkowość. Jego wynik nie ma żadnego wpływu na ukończenie szkoły. Wynik decyduje o dostaniu się absolwenta na konkretny kierunek studiów wyższych w wybranej uczelni. Dlatego właśnie ma on charakter różnicujący. 

7. Egzamin potwierdzający kwalifikacje zawodowe zwany egzaminem zawodowym jest formą oceny poziomu opanowania wiadomości i umiejętności z zakresu danego zawodu, ustalonych w standardach wymagań będących podstawą przeprowadzania egzaminu potwierdzającego kwalifikacje zawodowe. Egzamin zawodowy przeprowadzany jest dla absolwentów:- zasadniczych szkół zawodowych - techników - techników uzupełniających- szkół policealnych

8. Pomimo różnic dzielących poszczególne egzaminy jeden element wspólny: Wyniki uzyskiwane przez uczniów podczas egzaminów zewnętrznych stanowią podstawę do oceny efektywności pracy nauczycieli i całej szkoły. Z tego właśnie względu w wymaganiach ewaluacyjnych został umieszczony zapis o obowiązkowym przeprowadzaniu analizy wyników egzaminów zewnętrznych, w różnym zakresie.

9. By w pełni wykorzystać informacje o wynikach egzaminu zewnętrznego, na podstawie ich analiztrzeba starać się ustalić, które szkolne działania dydaktyczno-organizacyjne oraz w jaki sposób wpłynęły na osiągnięcia uczniów.

10. Analiza ogólnego wyniku szkoły w zestawieniu z wynikami uzyskanymi przez uczniów za pojedyncze zadania oraz czynności. • Spojrzenie ogólne daje nam możliwość dostrzeżenia pewnych prawidłowości, • przyjrzenie się szczegółom może wskazać konkretne problemy oraz sugerować sposoby ich rozwiązania. • W analizie wyników obie perspektywy są niezwykle istotne i wzajemnie się uzupełniają. 

11. Analiza powinna być przeprowadzona w kilku płaszczyznach: • ilościowej (ile?) • jakościowej (co to znaczy?) • perspektywicznej (jak będzie dalej?) • retrospektywnej (jak było?) • efektywnej, w tym operacyjnej (co zrobić?)

12. Uzyskane informacje (wielopłaszczyznowe) pozwolą w obiektywny sposób ocenić efekty pracy i to nie tylko w ostatnim roku, ale w całym mijającym cyklu edukacyjnym. Egzamin zewnętrzny jest zwieńczeniem wysiłków ponoszonych przez cały okres kształcenia na danym etapie.

13. Ogólny obraz tego, jak szkoła wypadła podczas egzaminu, buduje się zwykle na podstawie dwóch wartości: 1) średniego wyniku szkoły z egzaminu 2) pozycji, jaką ten wynik zajmuje na skali staninowej. Powstały w ten sposób obraz powinien być wzbogacony o rozkład wyników uczniów w szkole. Jest to ważny element, który mówi nam więcej niż średnia czy stanin.

14. Egzamin zewnętrzny jest dla organów prowadzących i nadzorujących szkołę ważnym wskaźnikiem jej pracy. Szkoła oceniana jest zwykle na podstawie wyników egzaminu. OP i ON posługują się głównie średnim wynikiem szkoły i jego pozycją na skali standardowej dziewiątki – i na tym poprzestają. Nie zawsze tego rodzaju analizy są przeprowadzane poprawnie. Staniny i uśrednione wyniki są często nadużywane, a ich interpretacja jest zbyt rozległa.

15. Szkoły powinny jednak dokonywać tego typu analiz z kilku powodów: • pozwala to ująć pracę szkoły w szerszej perspektywie, • możemy spojrzeć na szkołę w sposób, w jaki czynią to obserwatorzy z zewnętrz – np. z perspektywy organu prowadzącego lub nadzorującego, • poprawne wykonanie tego typu analiz daje nam wymierne i nie dające się podważyć argumenty w sytuacji, gdy nasza szkoła podlega ocenie.

16. Przygotowując samodzielnie tego typu analizy każda szkoła może prowadzić dyskusję merytoryczną, zauważyć nadinterpretację analiz innych podmiotów – przedstawić ogólny i zarazem obiektywny obraz szkoły ze swojej perspektywy. SZKOŁA

17. Średni wynik szkoły powinien być wstępem do pracy nad interpretacją wyników egzaminacyjnych. Pozwala spojrzeć ogólnie na pracę szkoły i umiejscowić jej wynik względem innych szkół. Dzięki temu możemy zauważyć pewne kierunki zmian w wynikach egzaminu.

18. www.oke.poznan.pl • wyniki • raporty • staniny • tendencje rozwojowe

20. Najwięcej informacji o pracy uczniów i szkoły możemy zdobyć, przyglądając się wynikom poszczególnych uczniów za kolejne zadania lub czynności. Wtedy widać wyraźnie, które elementy w pracy dydaktycznej szkoły są zadowalające, a które należałoby poprawić. W przypadku dużej liczby uczniów nie możemy wprost tego zrobić, gdyż szczegółowych informacji jest zbyt wiele. W takim przypadku korzystamy z pomocy uniwersalnych narzędzi statystycznych. Pozwalają one, za pomocą kilku liczb, przedstawić w syntetycznej formie informacje o osiągnięciach uczniów. Jednak zarazem należy pamiętać, że są to pewnego rodzaju przekształcenia wyników, nie zawierają w sobie całej informacji szerokiej, którą mają wyniki egzaminów poszczególnych uczniów w szkole.

21. Należy zawsze określić granicę liczby uczniów, dla których uzasadnione jest stosowanie narzędzi statystycznych. Za granicę tę zazwyczaj przyjmuje się nie mniej niż 10 uczniów, choć najlepiej tego typu działania można podejmować dla grup liczących co najmniej 30 uczniów. W grupach większych niż 10, ale mniejszych niż 30 uczniów można stosować narzędzia statystyczne. Pamiętać jednak należy, że ich wyniki mogą być obarczone sporym błędem. Przy takiej liczbie uczniów najlepiej zastosować najdokładniejszą metodę analizy wyników, czyli dokładne przyjrzenie się wykonaniu zadań przez pojedynczego ucznia.

22. Porównując średnie wyniki należy pamiętać o możliwościach i ograniczeniach parametru statystycznego, jakim jest średnia arytmetyczna. Pozwala nam ona na ogólne spojrzenie na wynik, jednak sposób jej liczenia jest niezwykle wrażliwy na wartości skrajne (w przypadku egzaminów na bardzo niskie lub bardzo wysokie wyniki), zwłaszcza w przypadku niewielkiej liczby uczniów. Wystarczy, by w szkole, w której niewielu uczniów pisało egzamin, kilka osób uzyskało skrajne wyniki, by średnia dawała nam zniekształcony obraz. Dlatego ważne jest, by oprócz średniej brać także pod uwagę rozkład wyników uczniów w szkole, którynajprościej jest przedstawić w formie graficznej, na przykład na wykresie.

29. Podstawowe parametry statystyczne i kolejność działań • Każdy z nauczycieli, który przystępuje do analizy danych zawierających wyniki egzaminacyjne powinien dokładnie zapoznać się z podstawowymi wskaźnikami statystycznymi. • Najważniejsze z nich to: wynik średni, wynik środkowy (mediana), wynik minimalny, wynik maksymalny, modalna (inaczej dominanta),miara rozrzutu, może być nią np. rozstęp oraz przedział wyników typowych.

30. Kolejność działań związanych z analizą egzaminów zewnętrznych: • zanalizować wyniki egzaminacyjne. • 2) uporządkować wyniki od wyniku najwyższego do najniższego i zestawić wyniki w klasy ilościowe, a następnie wykonać wykresy rozkładu wyników. • 3) obliczyć średnie wyniki i porównać z wynikami uczniów w kraju, województwie, powiecie, gminie i mieście.

31. Traktujemy je jako punkt odniesienia dla wyników szkoły, gdyż są one średnim wynikiem wszystkich uczniów piszących egzamin w danej szkole. Szacujemy, czy wyniki szkoły są większe, mniejsze czy porównywalne z wynikiem większych jednostek terytorialnych. Za wynik porównywalny uznajemy wynik w granicach o jeden punkt większy lub mniejszy od wyniku szkoły. Zastanawiamy się nad istniejącymi różnicami oraz ich wielkością.

32. W taki sam sposób dokonujemy analizy porównawczej między wynikami poszczególnych klas a szkołą, oraz poddajemy dalszej analizie wyniki poszczególnych uczniów. Jeśli badana w szkole populacja jest liczna, można dokonać powyższych zestawień w podziale na chłopców i dziewczęta, uczniów dojeżdżających i miejscowych itp. porównując wyniki grup. Porównania mogą być bardzo interesujące.

33. Skala staninowa • Wynik szkoły można także porównać z wynikami wszystkich pozostałych szkół, w których w danym roku przeprowadzono egzamin. • Jeśli interesuje nas pozycja szkoły względem innych szkół, możemy posłużyć się skalą staninową, stanowiącą pewne przekształcenie surowych wyników wszystkich egzaminowanych szkół i uczniów. • Pozycja wyniku szkoły na skali staninowej informuje nas, jaki procent szkół uzyskał lepszy wynik, jaki gorszy, a jaki porównywalny z naszą szkołą.

34. SKALA STANINOWA

35. Pozycja wyniku na skali staninowej może okazać się niezwykle pożytecznym narzędziem do porównywania wyników szkół, należy jednak stosować je zrozmysłem i na jego podstawie ostrożnie formułować wnioski. Przede wszystkim należy pamiętać o tym, że wskaźnik ten nie daje tyle informacji o szkole, co analiza rozkładu średnich wyników w szkole. Pozwala nam jedynie umiejscowić pozycję szkoły względem innych szkół, ale w sposób dość ogólny. Jako taki nadaje się właśnie do ogólnych porównań.

36. Skala staninowa dla szkół jest konstruowana co roku po egzaminie zewnętrznym na podstawie średnich wyników wszystkich szkół, w których był on przeprowadzany. Jest to względna miara pozycyjna – znaczy to, że stanin szkoły może się zmieniać w kolejnych latach nie dlatego, że zdecydowanie zmienił się z roku na rok poziom nauczania w tej szkole, ale dlatego, że inne szkoły znacząco zmieniły swoje wyniki. Należy o niej myśleć jako o bardzo ogólnej etykiecie, która w sposób bardzo generalny opisuje szkołę względem pozostałychszkół w Polsce.

37. Każdego roku zbiór wyników egzaminów zewnętrznych w Polsce jest podstawą utworzenia skali staninowej dla uczniów. Metoda liczenia jest taka sama jak w przypadku skali dla szkół. Skala staninowa szkolna i uczniowska są różnymi skalami. Używane obecnie w Polsce skale staninowe dla uczniów i szkół są opracowane na podstawie wyników egzaminu opartego na wersji standardowej arkusza.

38. Normalizacja wyników w skali standardowej dziewiątki

39. W skali staninowej dla ucznia bierzemy pod uwagę zbiór wyników wszystkich uczniów w Polsce, którzy pisali egzamin w danym roku. Możemy porównać wynik pojedynczego ucznia w szkole z wynikami wszystkich uczniów w całej Polsce, określić, jaki procent uczniów uzyskał wynik gorszy, lepszy lub porównywalny z jego wynikiem.

41. Analiza łatwości zadań • Łatwość jest istotnym wskaźnikiem i liczy się ją w bardzo prosty sposób. Obliczamy łatwość każdego wymagania (wg nowej podstawy programowej) lub zadania dla całej szkoły, posługując się danymi pozyskanymi z OKE. • Liczymy sumę punktów, jakie uczniowie uzyskali w poszczególnych obszarach i dzielimy przez iloczyn maksymalnego wyniku punktowego w obszarze i liczby uczniów. • W podobny sposób obliczamy łatwość całego arkusza testowego. • Możemy również obliczyć łatwość zadań, obszarów, całego testu dla poszczególnych klas.

42. Z raportu OKE lub CKE pozyskujemy dane na temat łatwości standardów i testu w całej badanej populacji uczniów i porównujemy te wartości z wartościami obliczonymi dla naszej szkoły. Analizujemy dane z tabeli, odpowiadając na pytania: W których standardach, wymaganiach, zadaniach szkoła uzyskała wynik satysfakcjonujący (0,70 lub więcej)? W których tzw. niezbędne minimum (0,50)? W których wynik był poniżej poziomu 0,50? Czy łatwość całego testu dla uczniów szkoły jest wyższa czy niższa niż dla wszystkich piszących? Uczniowie której klasy wypadli najlepiej, a której najsłabiej na egzaminie?

43. Edukacyjna Wartość Dodana

44. Edukacyjna wartość dodana jako jedna z miar jakości nauczania Poziom końcowy wiedzy Szkoła Zasoby na wejściu Jakość nauczania Edukacyjna wartość dodana jest przyrostem wiedzy i umiejętności uczniów w wyniku danego procesu edukacyjnego

45. Główne cele wprowadzania EWD Zmniejszenie roli surowych wyników egzaminów jako jedynej miary jakości nauczania. Diagnozowanie jakości nauczania celem nieustannej pracy nad poprawą efektywności nauczania. Zachęcanie szkół do konkurencji jakością nauczania. Docenienie pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno-ekonomicznych.

46. Jak liczona jest EWD w polskim modelu? • Na podstawie wyniku ucznia na sprawdzianie szacujemy za pomocą metody regresji wynik przewidywany na egzaminie gimnazjalnym. • Obliczamy różnicę punktów – tzw. resztę – między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. • Obliczamy średnią reszt, czyli EWD dla szkoły (gminy, powiatu, województwa). • Szacujemy przedział ufności dla EWD (jego długość zależy od liczby uczniów i od zróżnicowania wyników w szkole).

47. Komunikowanie EWD w odniesieniu do skali staninowej.Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD? „Dobra efektywność” mimo niskiej pozycji w rankingach Szkoły wspierające „Wysoce efektywne” szkoły potwierdzone dwoma miarami Szkoły sukcesu D B Szkoły „nieefektywne” Szkoły wymagające pomocy Szkoły, które „spoczęły na laurach” Szkoły zmarnowanych szans A C

48. EWD

49. Chłodnym okiem na EWD • Sprawdza się w odniesieniu do szkół o dużej liczbie uczniów • Jedna ale nie jedyna miara jakości pracy szkoły w kontekście roli szkoły w rozwoju ucznia • Wymaga uczciwości na każdym egzaminie • Wymaga poznania potencjału ucznia na wejściu • EWD mierzy to na co szkoła ma wpływ. Czy szkoła jest wystarczająco efektywna, pracując z uczniami o określonym potencjale?

50. I co dalej? Jak wykorzystać analizy?