PISA and School Feedback

1. Heike Wendt – PISA i povratneinformacijeizškole PISA and School Feedback

2. Različite funkcije i svrhe Evaluacije • promovišu samo-refleksiju • podržavanje procesa učenja po dijagnozi (formativna evaluacija), • sertifikacija postignutih rezultataučenja (sumativna evaluacija), • odgovornost za uticaj korišćenihsredstava (sumativna evaluacija sa stanovišta bilansa), i • praćenje obrazovnih standarda sa ciljem obuhvatanja ukupne situacije (procena velikih razmera).

3. Vrste procena velikih razmera • standardizovan, nacionalni i/ili međunarodni testdostignuća, • centralno organizovani završni ispit, • školske studije dostignuća na makro nivou, i • standardizovana, nacionalna inspekcija ili revizija.

4. Međunarodnekomparativneprocenevelikihrazmera • Svrha Međunarodnihkomparativnihstudijadostignuća, kaošto je PISA, • Je da uporedidostignućaučenikaizzemaljakojeučestvuju u različitimpredmetima. • Napomena: Izveštavanjerezultatananivoupojedinca(učenika) nikadanijebilanamera ILSA-e! (Rutkowski, Gonzalez, Joncas, & von Davier, 2010; von Davier, Gonzalez, & Mislevy, 2009)

5. Istraživanje povratnih informacija iz škole • Povratneinformacijemoguimatipozitivanefekatnaučenjeučenika (Hattie & Timperley, 2007; Schagen et al., 2006). • Hattie iTimperly (2007) suzaključiliiz svojih 196meta- analiza studija da povratneinformacijegeneralno imajupozitivan efekat na uspeh u školi, posebno u smislu u pomaganju nastavnike i učenike identifikuju moguće strategije za optimizaciju buduće aktivnosti učenja. Dvetradicijezadiskusiju o vrednostipovratnihinformacija u školama • Istraživanjaefikasnostiškola (npr. procena velikih razmera ) se fokusira na rezultateučenja i uslovaškole za uspešne rezultate učenja. • Istraživanje poboljšanja škola (npr. pojedinačna školsko istraživanje) se fokusira na razvojne procese u školi i interakcije između školskih karakteristika i životne sredine.

6. Vrednost/SvrhaPovratnihinformacija u školi na osnovuprocenavelikihrazmera Škole • Povratneinformacijeimsluzekao “ogledalo” kojeimomogucava da samo-procenesvojuefikasnost. • Prilika da se uporederezultatisopstvenogškolesadrugimsličnimškolamamože da pomogne da se poboljša rad u školi. • Ukolikoškola identifikuje svojuučinkovitost kao zadovoljavajuću ili slabu, može tražiti objašnjenja, uopšteno, identifikovati razloge za određene rezultate, posebno , a zatim preduzeti mere (na osnovu dokaza). Vladeiobrazovneuprave(Schagenet al., 2006): • promocijasamo-procene u školama (“proverezdravlja”) • U svrhamaodgovornosti (rangiranje, upotreba “tabelesaligama”).

7. Školski izveštaji: „Obavezno“ Zlatno pravilo:škola mora naći informacije sadržane u povratnim informacijamakao relevantne za svoje okolnostima Uvod • kratakopisizveštajainjegovihciljevainapomenao poverljivosti • opšteinformacije o studiji (organizacijekoje je sprovode, ciljeviovestudije, kaoibrojzemaljaučesnica u svakojpopulaciji) Opštipregledzemljekaouzorkainjenekarakteristike • Informacijekoje se nalazeovdetreba da obuhvatebrojučesnicaškolaitestiranihučenika, prosečanbrojučenikapoškoli, kaoiukupanprocenatdečakaidevojčicapoškoli. Prikazstruktureizveštaja • Kratkaobjašnjenjasadržajasvakogpoglavlja u izveštaju. Informacije ouzorku posebnomza škole kojeprimaju povratneinformacije Opisi pozadinepromenljivih kojese koriste da klasifikuju školu i da uporedimodostignuće svojih učenika sa dostignućimaučenika iz grupe sličnih škola. Informacija o prosečnimdostignućima učenika ove škole, sa poređenjem performansi ovih učenika sa performansama studenata iz grupe škola sa sličnim karakteristikama i pozadini širenja rezultata (heterogenost). Zaključnenapomene

8. Školski izveštaji: „Obavezno“ Zlatno pravilo:škola mora naći informacije sadržane u povratnim informacijamakao relevantne za svoje okolnostima Uvod • kratakopisizveštajainjegovihciljevainapomena o poverljivosti • opšteinformacije o studiji (organizacijekoje je sprovode, ciljeviovestudije, kaoibrojzemaljaučesnica u svakojpopulaciji) Opštipregledzemljekaouzorkainjenekarakteristike • Informacijekoje se nalazeovdetreba da obuhvatebrojučesnicaškolaitestiranihučenika, prosečanbrojučenikapoškoli, kaoiukupanprocenatdečakaidevojčicapoškoli. Prikazstruktureizveštaja • Kratkaobjašnjenjasadržajasvakogpoglavlja u izveštaju. Informacije ouzorku posebnomza škole kojeprimaju povratneinformacije Opisi pozadine promenljivih kojese koriste da klasifikuju školu i da uporedimodostignuće svojih učenika sa dostignućima učenika iz grupe sličnih škola. Informacija o prosečnimdostignućima učenika ove škole, sa poređenjem performansi ovih učenika sa performansama studenata iz grupe škola sa sličnim karakteristikama i pozadini širenja rezultata (heterogenost). Zaključnenapomene Jedna od najvažnijihkarakteristikaizveštajatreba da bude da njegovinamenjenimčitaocimabudelakoshvatiti date informacije.

9. Primer školskog izveštaja http://www.oecd.org/pisa/aboutpisa/OECD%20Test%20for%20Schools%20-%20Herndon%20High%20School.pdf

10. Ograničenja: iz perspektive podataka • PVS imajukompleksnedizajne, strategijepouzorku, i procedure zaprikazivanjepodatakapografikonima • zaoptimizacijuimerenje • izveštavanjananacionalnomnivou • uzistovremenosmanjenjeoperativnihproceduraitroškovastudija. • Kao posledica toga, kada jedinicaanalize (oblast, okrug, grad, škola, odeljenje) postaje manja, tako rizik od dobijanja nepouzdanihili čak nevažećih rezultatase povećava.

11. Procena dizajna iz procena velikih srazmera i njihova implikacija • Dvaaspektadizajnaprocenevelikihsrazmeratrebauzeti u obzir: • dizajnuzorakaiimplikacijezaizveštavanjenanivouškola, i • dizajnprocenaiimplikacijezaizveštavanjenanivouškola. • Dizajnuzorka • PISA koristidvostepenipodeljenidizajndobijanjauzorka: • Prvo se uzimauzorakpoškolama, a zatimpostarostiučenika u školi. • Ovakavizboručenikaunutarškolemožda ne dajereprezentativniuzorakučenika u školamaališiromzemlje.

12. Procena dizajna iz procena velikih srazmera i njihova implikacija • Dizajnprocene: • PISA koristimultiplikovanumatricuzaocenjivanjeučenika: • Nijedanučenik se ne ispituje u svimpredmetima, i nijedanučenik ne dobijasvepredmete. • To jest, postoji neizvesnost o tome kako dobrotest odmeravasposobnosti u domenusadržajabilokojegučenika(greška u merenju). • U zavisnosti od konkretnih predmeta odgovoručenika, a u zavisnosti od veličine razreda,neizvesnost je više ili manje velikau različitim odeljenjima. • Studije simulacije su pokazale, da kada veličina grupe postajesuviše mala (npr. odeljenjeveličine od15 ili manje učenika), greška u merenju postajetako velikada izveštavanje rezultatačak i na nivou razredapostaje beskorisno (Ko je zainteresovan za saopštenjegdeje prosečnirazrednegde između 300 i 600).

13. Opcije za izveštavanje PISA rezultata na nivou škole • Zbogsamogdizajnauzorka, povratneinformacijemogubitidatesamona nivourazreda; ne trebapritomdonositizaključke na nivouškole (osimu slučajevimakadasuizabraniučeniciizsvihodeljenja u školi). • Zbogsamogdizajnaocenjivanja, ako je uzorakod 15 ilimanjeučenika, rezultatiizveštavanjačaki na nivourazredasubeskorisni. • Sirovoocenjivanjetestiranihodeljenjane treba da se koristizaizveštavanjezbograzličiterotacijetestknjižica(širomodeljenja).

14. Solucija I: Sveobuhvatnastrategijaza monitoring obrazovanja: Primer Nemačke U junu 2006,Stalna konferencija usvojila jesveobuhvatnu strategiju za monitoringobrazovanja kojase sastoji od četiri međusobno povezanih oblasti: • učešće u međunarodnim komparativnim studijama dostignućaučenika • centralni pregled dostizanjaobrazovnih standarda u odnosu između različitihpokrajina (regiona) • komparativne studije u okviru regionau cilju sagledavanja efikasnosti pojedinih škola • zajedničko izveštavanje o obrazovanjuFederacije i regiona. izvor: http://www.kmk.org/fileadmin/doc/Dokumentation/Bildungswesen_en_pdfs/dossier_en_ebook.pdf (strana 225) (KMK, 2006)

15. Solucija II: PISA-zasnovani test za škole Kako uporediti školu na međunarodnom nivou • sredstvoocenjivanjaučenikanamenjenozaupotrebu od straneškolaimrežaškola da podržeistraživanje, postavljanjestandardainaporazapoboljšanješkola • pružainformacijeiopisnuanalize; • O veštinamaikreativnomsprovođenjuznanja 15-godišnjih učenika u čitanju, matematiciinaukamau poređenjusapostojećim PISA skalama(kada se obavljaju pod određenimuslovima) • O tome kako se različitifaktoriunutari van školepovezujusaučinkomučenika: • Socio-ekonomskoporekloučenika, • Njihovistavoviiinteresi u čitanju, nauciimatematici • Stvorenaatmosferaučenja u školama izvor: http://www.oecd.org/pisa/aboutpisa/pisa-basedtestforschools.htm

16. HVALA VAM PUNO NA VAŠEM INTERESOVANJU. NADAM SE DA NAM SLEDI PLODONOSNA DISKUSIJA O OVOJ TEMI