rad8012@helka.iif.hu Honlap: members.iif.hu/rad8012/

1. Radnóti KatalinMérés és értékelés az oktatásban az alakuló szakmódszertani doktori iskola fényében rad8012@helka.iif.hu Honlap: http://members.iif.hu/rad8012/

2. Az előadásban érintett témák A pedagógiai mérések céljairól A mérés lebonyolítása, mérőeszközök Példák SES index, hozzáadott érték • Szatmári - Bajkó Ildikó: Káoszelmélet a középiskolában (Fizikai Szemle) • Csapó Benő (Szerkesztő): Az iskolai tudás • Nagy Lászlóné: Az analógiás gondolkodás (PhD) • Korom Erzsébet: Fogalmi fejlődés és fogalmi váltás (PhD) • Tóth Zoltán és munkatársai, PhD hallgatói: mérések a kémia tantárgy esetében (Debreceni Egyetem Kémia Szakmódszertani Részleg) • Ujvári Sándor: a Szilárd Leó Verseny feladatainak elemzése (PhD dolgozat részlete, Fizikai Szemle) • Mikkel Heise Kofoed: The Hiroshima and Nagasaki bombs: role-play and students' interest in physics

3. A pedagógiai mérések célja -Tudománnyá válás - Döntési folyamatok megalapozása • Nemzetközi vizsgálatok: PISA (Programme for International Students Assessment) IEA (International Association for the Evaluation of Educational Achievement) – országos reprezentatív mintán • Országos: Országos kompetenciamérés • Regionális: Például: Szeged és környéke, Pécs és környéke • Iskolai szintű • Osztályszintű • Pedagógiai folyamatokkal kapcsolatos vizsgálatok, kvantitatív megközelítések pl. tankönyvekben kérdések száma és jellege, fogalmak száma egy témakör esetében (Martinás Kati hőtan 60 fogalom/10 óra), tanórai folyamatok, versenyfeladatok nehézsége stb. A pedagógiai méréshez szükséges fogalmi keret napjainkban formálódik!

4. A pedagógiai mérések lebonyolítása • Célkitűzés, hipotézisalkotás. • Minta kiválasztása. • Mérőeszköz megkonstruálása, mely vagy kérdőív, vagy feladatlap és a hozzá tartozó kiértékelő program elkészítése. • Kismintás kipróbálás. • Mérés, feladatlap vagy kérdőív kitöltetése. • Adatok feldolgozása, adatbevitel (pl. Ecxel táblázat készítése) kiértékelés, szignifikancia vizsgálatok, összefüggések stb. • Adatok elemzése, értékelése, összevetése a kiinduló hipotézisekkel. • Javaslatok megfogalmazása.

5. Az értékelés formái Kritériumorientált – normaorientált Más osztályozás szerint: - diagnosztikus, - formatív, - szummatív.

6. Mérőeszközök • Tudásszintmérő feladatlapok • Háttérkérdőívek (tanulói, tanári, igazgatói, iskolai…) • Attitűdvizsgálatok kérdőívei A mérőeszköz megtervezésével együtt kell a kiértékelést is tervezni!

7. Tudásszintmérő feladatlapok • Azt a tudást méri, mely az iskolai tanulásban játszik szerepet. • Feladatokból áll, melyek legkisebb önállóan értékelhető részei az itemek. • Teszt összpontszáma: itemekre kapott pontok összege. Tesztek jósági mutatói: Objektivitás: adatfelvétel és értékelés, elemzés tekintetében. Megbízhatóság: az egyes feladatok megoldása közt magas a korreláció. Pl.: Cronbach-alfa , kritérium ZH tesztekre 0,85. Érvényesség: azt méri-e, amit szeretnénk? Feladattípusok: Feleletválasztó (tesztek), feleletalkotó.

8. Adatok kiértékelési lehetőségei • Válaszok számszerűsítése, szöveges válaszok esetében kategóriák létrehozása. • Kódolás lehetőségei: Pl. dupla kód alkalmazása (megoldás jósága – megoldás, illetve esetleges hibák típusai) tudásszintmérő feladatok esetében. Szignifikancia kritériumok a pedagógiában 5%. • Összefüggések vizsgálata, keresztlekérdezések, pl. életkor, nemek szerint, tanulmányi eredmény szerint, SES hatás szerint…

9. Statisztikai kiértékelés Mint bármely más mérés esetében, • átlagok, • szórások, • gyakoriságok, relatív gyakoriságok, %-ok, • korrelációk (-1 … 1)… a probléma jellegétől függően. Megjelenítés: általában oszlop vagy kördiagram formájában.

10. A szociális háttér és a tanulói teljesítmény kapcsolata Magas Tanulói teljesítmény A szociális háttér jelentős mértékben befolyásolja a tanulói teljesítményt(Szülők foglalkozása, anyagi háttér, kulturális javak, szülők végzettsége, családszerkezet, bevándorlói státusz) De nem feltétlenül vezet gyenge eredményekhez Alacsony -3 -2 -1 0 1 2 3 Hátrány Előny Szocio-ökonómiai státusz index OECD (2004), Learning for tomorrow’s world: First results from PISA 2003, Figure 4.8, p.176.

11. A teljesítmény és a SES viszonya

12. A tanévenként sorra kerülő országos kompetenciamérések egy-egy tanulói évfolyam tudását és képességeit mérik fel két területen: A FELMÉRÉS CÉLJA matematika, olvasás-szövegértés. Visszajelzés arról, hogy az iskola milyen eredménnyel közvetíti a társadalom által elvárt tudást. Az iskola képes legyen összehasonlítani a teljesítményét más iskolákkal. A tanárok visszajelzéstkapjanak arról, hogy az általuk átadott tudást a tanulók mennyire tudják alkalmazni. A teljes populációból iskolánként 20-30 tanulót választanak ki a központi adatfeldolgozáshoz. Az iskola tanulói által képviselt un. hozott érték alapján becsült teljesítmény (Tb) és az iskola tanulói által ténylegesen elért teljesítmény(Tt) különbsége (Vári Péter, 2004). Számítása: HPÉ= Tt - Tb HOZZÁADOTT PEDAGÓGIAIÉRTÉK

13. Mi a kompetencia? „Akompetencia a pszichikus képződmények olyan rendszere, amely felöleli az egyénnek egy adott területre vonatkozó ismereteit, nézeteit, motívumait, gyakorlati készségeit, s ezáltal lehetővé teszi az eredményes tevékenységet.” (Falus 2006.) Kulcskompetenciák: • Anyanyelvi kommunikáció • Kommunikáció idegen nyelven • Matematikai, természettudományos és technológiai kompetenciák. • Digitális írástudás • Tanulásmódszertan • Társas, kultúraközi kompetenciák • Állampolgári kompetenciák • Vállalkozói kompetenciák

14. A PISA-vizsgálat egy tanulsága: „A magyar PIZZA-példa” Feladat: Szerinted melyik éri meg jobban? Ha 20 cm átmérőjű pizzát veszünk 200 Ft-ért, vagy 30 cm átmérőjű pizzát 300 Ft-ért? Megoldás: A terület és az ár nem állnak egyenes arányban: A kör területe: r²x Az árak aránya: 300 Ft/ 200 Ft A 300 Ft-os pizza ára tehát 1,5-szerese a 200 Ft-os pizzának, míg ez előbbi területe 2,25-szöröse a kisebbiknek, vagyis ebben az esetben a drágább pizzát érdemesebb megvenni. A választ a megkérdezett tanulók 3%-a tudta!

15. Hozott Érték Index (HÉI) Az iskola tanulóinak tanulási teljesítményét leginkább befolyásoló szocio-kulturális és szocio-ökonomiai tényezőkből képzett index. Összetevői (súlyarányaikkal): • Szülők iskolai végzettsége (45%) • Tanulást segítő eszközök: otthoni könyvek száma (30%) saját könyvek száma (10%) • Otthon felszereltsége: számítógép (10%) gépkocsi ( 5%)

16. HOZZÁADOTTPEDAGÓGIAI ÉRTÉK Becsült teljesítmény görbéje • Iskola A teljesítménygörbe alatti Hozzáadott Pedagógiai Érték (-) valójában a ki nem használt lehetőséget jelenti

17. Középiskolák

18. Néhány megállapítás • Liberális oktatáspolitika alakult ki a rendszerváltás következtében, szabad iskolaválasztás. • Hazánkban nagyon nagyok az iskolák közti különbségek. • A tanulói teljesítményekben tapasztalható különbségek az életkor függvényében jelenősen növekednek az iskoláztatás során! • Növekszik a hátrányos helyzetű gyerekek aránya, miközben a gyermeklétszám csökken! • Iskolai rangsor a hozzáadott érték alapján. • Integrált nevelés fontossága. Nem csak a jövő képviselői, jogászai, mérnökei, tudósai ülnek jelenleg az iskolapadokban, hanem a jövendő „munkanélküliek” is, ha így marad.

19. Szatmári - Bajkó Ildikó: Káoszelmélet a középiskolában A vizsgálat tárgya: középiskolai tanulók káosszal kapcsolatos előképe, és a téma taníthatósága a mechanika keretében. Tananyagfejlesztés, majd kipróbálása két csoportban. Legfontosabb fogalmak kiválasztása, kísérletek, számítógépes szimulációk kifejlesztése. Diagnosztikus felmérés a tanítás előtt, majd felmérés utána.

20. Csapó Benő: Az iskolai tudás Mintaválasztás: Szeged és vonzáskörzete, 547 fő 7-es általános iskolai és 503 fő 11-es gimnáziumi, illetve szakközépiskolai tanuló. A vizsgálat témakörei: • Mit tükröznek az osztályzatok? Tantárgyi attitűdök. • Természettudományos ismeretek alkalmazása (30% és 50%). • Természettudományos tévképzetek (40% és 60% ). • Matematikai megértés (35% és 50%). • Induktív (45% és 64%), deduktív (25% és 45%), valószínűségi és korrelatív (30 és 45%) gondolkodás. • Különböző összefüggések pl. osztályzatok, attitűdök és teszteredmények. • A vizsgálatban használt mérőeszközök, háttérkérdőív és tudásszint mérő tesztek. A mérés kiértékeléséhez felhasznált statisztikai számítások: átlag, szórás, kétmintás t-próba, korrelációs együttható, többváltozós lineáris regresszióanalízis, kalszteranalízis.

21. Példák a feladatok köréből • Zárt garázsban igen veszélyes járatni a járművek motorját. Miért? (32% és 45%) • Miért látható hideg időben a leheletünk? (27% és 38%) • Az egyik pohárban cukor, a másikban benzin van. Melyik anyag szagát érezzük? Karikázd be a válaszodat! Csak a benzin szagát érezzük. • Csak a cukor szagát érezzük. • Mindkettő szagát érezzük. • Egyik szagát sem érezzük. Miért? Fejtsd ki válaszod tudományos magyarázatát! (85% jó, de csak 10% indokolt jól) Korrelatív példa: Mit gondolsz, van-e összefüggés a nappalok hossza és az évszakok között? (Karikázd be a véleményedet legjobban kifejező válasz betűjelét!) (83% és 96%) • A) Van B) Nincs C) Nem lehet eldönteni Induktív példa: Szóbeli analógiák (57% és 79%) SZÉK:BÚTOR = KUTYA : ? a.) macska b) állat c) tacskó d) róka e) kutyaól Folytasd a következő számsort: 3 6 11 14 19 22 (30% és 45%)

22. Néhány megállapítás • Az osztályzatok az induktív teszttel függnek össze legszorosabban, nem a tantárgyi teszteken nyújtott teljesítménnyel. Ez a fizika esetében kifejezetten igaz!!!!!!!! • Tévképzet-vizsgálatok fontossága, problematikus témakörök gyűjtése fontos. • A tanulók sok mindent tudnak, de nem képesek azok alkalmazására. • A tanulók tudása erősen kontextusfüggő, csak azt tudják, ami és ahogy a tanórán szerepelt.

24. Nagy Lászlóné: Az analógiás gondolkodás fejlődése A könyv a biológia tantárgy vonatkozásában egy konkrét kutatás keretében bemutatja az analógiás gondolkodásmód, mint egy kiemelten fontos képesség fejlesztési lehetőségeit a biológia tantárgy tartalmainak feladat-centrikus, tanórai keretekben történő feldolgozásán keresztül. Témái: • Az analógiás gondolkodásmód elvi alapjainak áttekintése. • Analógiák a biológia tudományában és tanításában, 19 tankönyv elemzése, 569 analógia azonosítása. • Fejlesztő program „Az emberi szervezet felépítése és működése” témakörében. Tanári és tanulói segédletek kidolgozása. • Oktatási kísérlet, kísérleti és kontrolcsoport kiválasztása. • Elő és utómérés mindkét csoport esetében. • A teszteredmények alapján a fejlesztést befolyásoló tényezők összefüggéseinek vizsgálata, háttérváltozók szerinti összehasonlítások, mint nemek közti, osztályzatok szerinti, attitűdök, szülők iskolai végzettsége stb.

25. Néhány feladat a fejlesztő programból Analógiatesztek: - SZÖVET : SEJT = SZERVEZET : ? a) sejtalkotó b) molekula c) szervrendszer c) élőlény - LÉGZŐIZOM : REKESZIZOM = EMÉSZTŐNEDV : ? • tápcsatorna b) emésztés c) emésztőenzim d) hasnyál Összehasonlítások: - Hasonlítsd össze a kályhában és a szervezetben végbemenő égési folyamatot! Mi a hasonlóság és mi a különbség? - Miért mondjuk, hogy a nyirok a vér szegény rokona?

26. Korom Erzsébet: Fogalmi fejlődés és fogalmi váltás A szerző a fogalmi fejlődés és fogalmi váltás kérdéskörét járja körül, majd egy konkrét témákban, a tanulók néhány fizikai jellegű kérdésről alkotott képe és a részecskeszemléletének fejlődésével kapcsolatos saját kutatásait mutatja be. Fizikai kérdéskörök: a fény szerepe a látásban, a feldobott pénzérme, sűrűség. Megállapítja, hogy ugyan az oktatás hatására csökken a tévképzetek száma, ellenben azok nem tűnnek el. Sok érdekes tanulói elképzelést hozott felszínre. Pl. tizenegyedikesek körében azt, hogy a szerves anyagok élők, míg a szervetlenek élettelenek lennének, a meleg levegő felszáll, mert ott van a természetes helye, a tömegsűrűség és a viszkozitás fogalmak keveredése, meleg hatására a részecskék kitágulása stb. • A tanulók megtanulják a részecskemodell jellemzőit, de nem igazából értik azokat, hisz az alkalmazás jellegű feladatokban sokkal gyengébben teljesítenek. • A tanulók egy része keveri az atom, ion, molekula fogalmakat, a kémiai szimbólumokat helytelenül használja. • Arra kérdésre, hogy mi van a részecskék közötti térben sokan írták, hogy kötés, mintha az valami anyagszerű dolog lenne. • A szakközépiskolások válaszai a nyolcadikosok válaszaihoz álltak közel.

27. Tanári kérdőív néhány tanulsága • A tantárgyakkal kapcsolatos tanulói attitűdök a tanárok szerint teljesen összhangban vannak más vizsgálatok eredményeivel, miszerint a gyerekek nem szeretik a fizikát és a kémiát. • A tanárok szerint a tananyag nincs összhangban a tanulók érdeklődésével és életkori sajátosságaival. • A tanárok az alkalmazásképes tudáson azt értik, hogy a tanulók megszokott feladatokban, jelenségek körében tudják használni tudásukat. A más kontextusra, a transzferre nem gondolnak. • A sikertelenség okait az esetek 90%-ban a tanulókban, vagy a tananyagban, és nem saját tanítási módszereikben látják. Ezek zömmel a hagyományos, elsősorban frontális tanítási módszerek.

28. Néhány általános megállapítás • A tanároknak is át kell esniük egy fogalmi váltáson. El kell, hogy fogadják azt, hogy a gyerekek már sokféle ismerettel rendelkeznek a világról, amikor belépnek az iskolában, és ez képezi számukra az iskolai tanulmányok alapját. • A tanulók előismereteit fel kell tárni (diagnosztikus mérés), és a téma tanítása során is folyamatosan nyomon kell követni a tudás alakulását (formatív értékelés). • Az eddigieknél sokkal többször kell alkalmazni különböző kooperatív munkaformákat, mint csoportmunka, szituációs játékok, projekt stb. • A gyerekeket nem szabad magukra hagyni a következtetések levonásában. • Az új fogalmakat minél többféle, változatos kontextusban kell megjeleníteni. Különösen körültekintően kell eljárni, ha az adott tudományos fogalmat a hétköznapi életben is használják. • A tanulók is folyamatosan elemezzék saját gondolkodási tevékenységüket (metakogníció). A legújabb tantervfejlesztéseknek ez az egyik legfontosabb eleme!

29. Tóth Zoltán és munkatársai,PhD hallgatói: mérések a kémia tantárgy esetében (Debreceni Egyetem Kémia Szakmódszertani Részleg) Elsősorban a tanulói elképzeléseket, a jellegzetes tévképzeteket kutatják különböző tanulói feladatlapok segítségével, melyeket sok iskola, kb. 500-1000 fő tanulóival töltetnek ki, majd elemeznek. Eredményeikről cikkekben, konferenciákon számolnak be. Dobóné Tarai Éva cikksorozata a KÖKÉL-ben 2004/2,3,4. számok Műhely című rovatában: Gyermektudományos elméletek az égéssel kapcsolatban Tanulói elképzelések az anyag részecsketermészetével kapcsolatban Oldódás – ahogy a gyerekek látják

30. Tanulói elképzelések az anyag részecsketermészetével kapcsolatban 14 fővárosi általános iskola 542 tanulója vett részt az adatgyűjtésben. A vizsgálat témakör: hogyan viselkedik a levegő, ha összenyomjuk, változik-e eközben a tömege, térfogata és a benne lévő részecskék száma? Kérdés: mi történik a fecskendőben lévő levegővel összenyomás után? Szöveges és rajzos választ is kellett adni. Eredmények: a 438 rajzos válasz közül 270-en folytonos anyagként ábrázolták a levegőt. Életkor függvényében nincs különbség (7. 8. oszt.). Lányok 43%, fiúk 53%-a gondolkodott így. Néhányan az összenyomás után sötétebben árnyalva ábrázolták a levegőt (a 7. oszt. 22%-a, a 8. évf. 28%-a). Részecskés választ a tanulók 25%-a adott, életkortól függetlenül. Változatlan tömeget mindössze a tanulók 40% várt. A tömeg, térfogat és a sűrűség fogalmak keverednek. A lányok véleménye jobban megoszlik a különböző válaszlehetőségek közt, míg magyarázataik kidolgozottabbak. A fiúk állásfoglalása határozottabb, és több a jó válasz. Néhány tanuló szerint kisebbek lesznek a részecskék, ha összenyomjuk a gázt.

31. Ujvári Sándor: A Szilárd Leó Verseny feladatainak elemzése A verseny döntőjének elméleti feladatainak megoldását elemezte a feladatok típusai és az eredményesség szempontjából a 1998-2005. időszakban. A feladatok csoportosítása: a feladat témája, jellege (szöveges, számolós), komplexitása (egy vagy több fizikai témakör alkalmazása szükséges a megoldáshoz). Feladatok nehézsége: a helyes megoldások száma osztva az összes megoldók számával. 0,7-1 könnyű, 0-0,3 nehéz. Megoldott a feladat, ha 4 vagy 5 pontot kapott a versenyző. Nehéznek a komplex feladatok bizonyultak! A 2001. évi feladatsor túl könnyű volt, a 2004-es túlzottan nehéz.

32. Physicseducationwww.iop.org/journald/physed Mikkel Heise Kofoed:The Hiroshima and Nagasaki bombs: role-play and students' interest in physics Center for Science and Mathematics Education & DREAM, University of Southern Denmark A cikk témája: a drámapedagógiai módszerek alkalmazása a fizika tanításában. A második világháború ideje alatt kifejlesztett atombomba létrehozásának körülményeit alakították a tanulók szerepjátékká, majd ténylegesen el is „játszották” a maguk készítette darabot. A cikk szerzője kérdőíves módszerrel vizsgálta ennek a tevékenységnek a szerepét a fizika iránti attitűd alakulásában.

33. Köszönöm a figyelmet!