A megértés folyamata Kemény Ferenc Babarczy Anna Káldi Tamás

1. A megértés folyamataKemény FerencBabarczy AnnaKáldi Tamás Látás, nyelv,emlékezet

2. A megértés megértése A nyelvi megértés folyamatának komponensei, a feldolgozás szintjei Feladat: Képzeljük el, hogy megbíznak bennünket azzal, hogy építsünk egy gépet, ami képes megérteni a beszédet. Kérdés: Milyen tulajdonságokkal, milyen tudással kell a gépnek rendelkeznie? Segítség: Hogyan értené meg az általunk tervezett gép a következő mondatokat? - Mennyi p***z van nálad? - A majmo* látták a gyerekek. (* = zaj) - Addig jár a korsó a kútra... - Asziszem dáthás leszek. - Már megint esik! - Nem akarta nem megvenni. - A tigrisem kergeti az oroszlánom. - Minden fiúnak tetszik két lány. vs. Minden fiúnak két lány tetszik. - Az oroszlán simogatása veszélyes. - Láttam a férfit a távcsővel. - „Vettem körtét.” „Hány wattosat?” - Nem járt abban az országban azelőtt. (topik, referencia stb.)

3. A megértés megértése A nyelvi megértés folyamatának komponensei, a feldolgozás szintjei a kontextusnak megfelelő értelmezés pragmatika új/adott információ feldolgozása információ szerkezet propozícionális tartalom feldolgozása szemantika a mondat szerkezetének elemzése szintaxis a szavak szerkezetének elemzése morfológia szavak “felismerése” mentális lexikon a beszédhangok felismerése fonológia

4. A megértés megértése A feldolgozás szintjei és a BOTTOM UP vs. TOP DOWN irányok a kontextusnak megfelelő értelmezés pragmatika új/adott információ feldolgozása információ szerkezet propozícionális tartalom feldolgozása szemantika a mondat szerkezetének elemzése szintaxis bottom up a szavak szerkezetének elemzése morfológia top down szavak “felismerése” mentális lexikon a beszédhangok felismerése fonológia

5. A megértés szakaszai

6. Az agy és a nyelvfeldolgozás (Levelt) Levelt beszédprodukciós modellje (2003) Külső és belső világról való tudás (tudatelmélet, diskurzusmodell) Retorikai/szemantikai/szintaktikai rendszer Fogalmi előkészítés Mentális lexikon (lemmák, morfofonológiai kódok) Grammatikai kódolás Önmonitorozás Morfofonológiai kódolás Fonológiai partitúra Szótagtár (artikulációs gesztusok) Fonetikai kódolás Artikulációs partitúra Artikuláció Fonológiai/fonetikai rendszer Beszéd

7. Az agy és a nyelvfeldolgozás (Levelt)

8. Visszatérő kérdések minden elemzési szinten 1. Az általánosítás jelensége: pl.: - a hangok szintjén ing, inas, nincs más realizáció, egy kategória: /n/ - a szavak szintjén: kuty-ÁT, kól-ÁT, mann-ÁT azonos szófaj, azonos rag és illeszkedési szabály stb.

9. Visszatérő kérdések minden elemzési szinten 2. A statisztika és szabályok viszonya: STATISZTIKAI > gyakori szavak felismerése gyorsabb SZABÁLY ALAPÚ (ÉS STATISZTIKAI?) > Jóska elveszetette _____. > egy határozott névelős tárgy esetű főnevet várunk: Jóska elvesztette a kulcsot. > Jóska elvesztett _____. > egy határozatlan névelős tárgy esetű fönevet várunk: Jóska elvesztett egy kulcsot. > kevésbé gyakori, ezért kevésbé várnánk, de pl. számneves kifejezés is állhat: Jóska elvesztett három kulcsot.

10. Visszatérő kérdések minden elemzési szinten 3. Alulról felfelé (bottom up) és felülről lefelé (top down) történő feldolgozási folyamatok: ALULRÓL FELFELÉ Értelmetlen CVC szótagokat is képesek vagyunk értelmezni. pl a klib hansort FELÜLRŐL LEFELÉ Értéskor predikciókat teszünk. A pr- hangsor után gyakoribb az /o/ hang (program, probléma, profi) A praktikus észlelésekor, felül kell írni az elvárásokat.

11. Visszatérő kérdések minden elemzési szinten 4. Helyzethez igazodás, tanulás: ÚJ SZAVAK GYORS MEGTANULÁSA floppy, punnyadt, lájkol, befigyel SZÓHASZNÁLATRA TÖRTÉNŐ RÁHANGOLÓDÁS sirüljenek lefelé, csomószor bippeltelek KÜLÖNBÖZŐ HANGSZÍNŰ/HANGMAGASSÁGÚ BESZÉLŐK MEGÉRTÉSE

12. Kinyitom az ajtót a ku*****  kulccsal  kutyának A nyelvi feldolgozás, mint Találatok és Tévedések versengése • A kontextus támogat: találat • A kontextus félrevezet: tévedés

13. A megértés folyamatának két felfogása Moduláris felfogás • Rögzített összetevők • Alulról-felfelé • Forma-jelentés • Ostoba feldolgozás • Algoritmikus összetevők Interakciós felfogás • Hajlékony összetevők • Felülről-lefelé is • Elvárások döntőek • Értelmes integráció • Heurisztikus megoldások

14. SZÓTÁR Központi Problémamegoldó Ismeretek Mondatelemző Szófelismerés Modularista modell

15. Szöveg- reprezentáció Világismeret Szótár Bemenet Hang-elemzés Szó-felismerés Mondat-elemzés Jelentés Interakciós felfogás

16. A hangok világa A beszédhangok szintjén általánosítunk, absztrahálunk: ing inas három különböző [n] egy fonéma: /n/ int - A fonéma klasszikus meghatározása: Jelentés megkülönböztető szerepű elemi egység (pl. őz vs. ősz). - Vita: a fonémák jegycsoportok, vagy a kategorikus észlelés alapjai? - Beszélők közötti általánosítás: mintavételen alpuló normalizálás.

17. Kontextus hatások a hangok szintjén A fonéma azonosítás lehetséges értelmetlen hangsor esetén is, mert: - a hangokat nem egymás után, hanem időben (és térben) egymással átfedésben artikuláljuk. - bizonyték: CVCVC hagnsorból kivágjuk a V-ket: C*C*C, a V-k azonosíthatóak maradnak, tehát - a mássalhangzó artikulálása közben már a magánhangzó képzésére utaló artikulációs mozgásokat is végzünk. Többek közt ez segíti a gyors feldolgozást.

18. Kontextus hatások a hangok szintjén > Pollack és Pickett (1964) természetes beszélgetésből kivágott egyedi szavakat izoláltan mutatott be: felismerhetetlenné váltak. Mondatba visszarakva tisztán felismerhetőek. > A nyelvtani szerkezetek és a statisztika teszi lehetővé, hogy jóslatokat tegyünk beszéd közben. A leggyakrabban használt 50 angol szó a beszélt szövegek 60%-át, az írottak 45%-át teszi ki.

19. A szavak világa Tövek és végződések: a szavak felépítése barátomat vagy barátomat barát -om -at barát -om -at

20. Az „elme feladatai” szófelismerés során > szegmentálás > tő felismerése > végződések felismerése > integráció > jelentés hozzárendelése

21. Szavak felismerése és a mentális szótár • Alaptények: gyakoriság, kontextus felülről-lefelé kutya – kuvasz • Hozzáférési utak: akusztikus, grafémikus, közös • Általánosítás 1: a jelentés egy közös szótárban található • Általánosítás 2: a hó és a hav a „hó”-hoz kapcsol • Általánosítás 3: a szófaj is tárolva van pl. kabát *-ik, hiszen a kabát főnév

22. A LOGOGÉN MODELL (Morton) • Külön akusztikus és vizuális út • Az elvárások és a gyakorisági hatások érvényesek a küszöbökre: könnyebb felismerni • A kutya kergeti … a MACSKÁT • A kutya kergeti … a MAJMOT • Nincsen benne preferencia a szó kezdetekre

23. Kohorsz modell: hallott szavak felismerése: már az első szótag alapján • Aktiválódás minden kompatibilis szóra, majd kiválasztás • A moziban megvette a je… jeget jegyet jegyet jegenye jelet Tévedés: A moziban megvette a jeges kávét. Visszamenés a bemenethez. Az igazodás akkor erős, ha összefüggő a szöveg. Izolált szavaknál és értelmetlen szövegnél kevesebb elvárási hatás van.

24. A szintek kölcsönhatása a konnekcionista felfogásban egy konkrét szó (TÉR) felismerésénél: Találatok és Tévedések összjátéka

25. állat emlős madár kanári folyó hattyú nap zöld Tovaterjedő aktivációs modell: A szavak a jelentés alapján izgalomba hozzák a hozzájuk kapcsolódó szavakat. Ez megjelenik asszociációkban, de a szófelismerés kontextus hatásaiban is bölcső baba ágy kórház nővér orvos doktor hő láz lázálom sárga fű

26. A szavak jelentésviszonyai és az agyi képviselet (Pulvermüller): van egy közös rész (Wernicke halántéki terület) és egy másodlagos, a szó jelentésének megfelelően • Cselekvés szavak: dob, rúg, fog • Vizuális szavak: néz, lát, tekint, bámul • Akciós potenciálok az agyban • Közös terület: halántéklebeny • Látási: tarkó lebeny • Mozgási: mozgató kéreg

27. Tanulási hatás: Korai kétnyelvűnél nagy átfedés, késeinél szeparált a szókincs leképezése az agyban (Kim et al, 1997)

28. Az alaktan kérdései • Szegmentálást segíti: hangsúly elöl, szóalak korlátok • A töveket és a ragot dolgozzuk fel elsődlegesen (Juhász és Pléh), lassabban, mint az angol vagy az olasz reakcióidő (ms)

29. A fonémarestaurációt magyarul a szintaxis is befolyásolja • A majmo*** nézik a gyerekek…

30. A mondatmegértés kérdései SZERKEZETI és PROZÓDIAI ELEMZÉS (ezek interakcióban vannak) SZEMANTIKAI ELEMZÉS > a propozícionális tartalom elemzése (thematikus szerepek, argumentumszerkezet) pl.: A tigrisem kergeti az oroszlánom. INFROMÁCIÓSZERKEZETI ELEMZÉS > új/adott információ tagolása, kimerítő értelmezés stb. pl.: A lekvárt Pisti ette meg. Ernő evett mézet. PRAGMATIKAI ELEMZÉS > kontextusfüggő értelmezés, cselekvésérték pl.: Hol van a szemüvegem?, Beszélhetek Gedeonnal?

31. A mondatmegértés kérdései [...] [...] Láttam a férfit a távcsővel. Láttam a férfit a távcsővel. […] Láttam a férfit a távcsővel. Kérdés: Vajon a fenti mondatnak tulajdonított szerkezetek, ill. a mondat különböző, lehetséges hangsúlyozása milyen szórendi és jelentésbéli variációkat enged meg?

32. Módszerek a kutatásban

33. Kép – mondat párosítási feladat (Káldi) Az utasok felszálltak a villamosra. Leszakadt a vezeték. vs. Az utasok szálltak fel a villamosra. Leszakadt a vezeték.

34. Késleltetett felismerés (Sinkovits Balázs kísérlete) AZONOS Egy potyautas került fel múlt éjjel a csempészhajóra. A toronyóra napok óta nem jelezte pontosan az időt. Egy csokor virág díszítette a szépen megterített asztalt. A tapasztalt autószerelő nem tudott segíteni a széttört autón. Egy potyautas került fel múlt éjjel a csempészhajóra. SZEMANTIKAI Az idős úr tanácsot kapott a ravasz ügyvédtől. Az önkéntes tűzoltók a tó partján gyakoroltak. Muzsikáló bohóc mulattatta a szünetben a közönséget. Képtelen történeteket mesélt a messziről jött ember. A ravasz ügyvéd tanácsot adott az idős úrnak.

35. FÓKUSZBA EMELÉS ÉS PUSZTA SZÓRENDVÁLTOZÁS FÓKUSZ A rendőrkutya izgatottan kerülgette a sonkás szendvicset. A konyhában nagy sürgés-forgás jelezte a vendégek érkezését. A kislibák gágogva igyekeztek a patak felé. A sonkás szendvicset kerülgette izgatottan a rendőrkutya. SZÓREND Egy mérges bika kergette a legényeket a patak mellett. Gyönyörű tortával lepte meg János a menyasszonyát. A füstös kocsmában ma reggel csak törzsvendégek voltak. Három lótolvajt üldözött a seriff a prérin. Egy mérges bika kergette a patak mellett a legényeket.

36. FÓKUSZBA EMELÉS ÉS PUSZTA SZÓRENDVÁLTOZÁS Eredmények: 1. A semleges szórendi változások már két mondat után is ignorálódnak. 2. A fókuszba emelési információ még a leghosszabb vizsgált idő után is megőrződik.

37. On-line módszerek Önütemezett olvasás: inkrementális • A lusta • A lusta tengerész • A lusta tengerész vitte • A lusta tengerész vitte át • A lusta tengerész vitte át a hódokat. Nagy határoknál lelassul

38. Verifikációs idők és hibák • A 4 nem páros szám. • A 2 páratlan szám. • A 8 nem páratlan szám. • A 9 nem páros szám.

39. A propozicionális elemzés kérdései • Mondatbeli szerep eldöntése: mit használunk? Szórend, rag, élőség • Szabályok és Statisztika viszonya • Tévedések a gyorselemzésben • Nyelvek eltérései • A mondatszerkezet felállításának elvei

40. Egy példa: Egyszerű tárgyas mondatok értelmezéseBates és MacWhinney, 1989

41. A szótár, mint a nyitottabb rendszer (Pinker) Nyelvtan • Lassan változik történetileg, stabilabb • Szabályok • Korán rögzül a gyermeknél • Elülsőbb agyrészek Szótár • Gyorsan változik, nyitott pl. FLOPPI, PENDRÁJV • Statisztika • Véglegesen nem zárul le felnőtt korban sem • Hátsóbb agyrészek

42. Cselekvésérték:példák az egyenértékűségre • Minden mondat kap egy cselekvésértéket is: Közlés, Kérés, Utasítás • Átkulcsolások a társalgásban: Ide tudnád adni a tollat? Én ne tudnám?! • Kérés: • felszólító – Csukd be! • szükséglet – Nem kellene becsukni? • szándék – Nem akarod becsukni?

43. Nyelv és társas élet • A cselekvésérték mutatja meg: a nyelvet összetett társas helyzetekben használjuk, társas célokra. • A sok lépéses kognitív működések társas szerepe irányítja a tévedések kivédését: együttműködni akarunk, ezért „kiszámítjuk”, mit is akarhatott a partner. • Ebben az értelemben a sikeres nyelvhasználat érdekében folyamatos kooperációra kell törekednünk.