Język

1. Inteligentne Systemy Autonomiczne Język W oparciu o wykład Prof. Randall O'Reilly University of Colorado oraz Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

2. Modele uwzględniają: rozproszony leksykon, ortografia, fonologia, semantyka. Te same mechanizmy uczenia w mózgu, tylko inne wejścia/wyjscia. Poziomy przetwarzania: fonemy/sylaby, litery, słowa, pojęcia, frazy, zdania, sytuacje, historie. Rozproszone reprezentacje, wielkie możliwości kombinacji wielu rep. Modelowanie mowy Reprezentacje semantyczne z ko-okurencji słów. Reprezentacje semantyczne na poziomie kształtu zdań. Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu. Semantycznagęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji).

3. Uczenie oparte o przetwarzanie sekwencji czasowych Sekwencje słów musza wytworzyć reprezentacje znaczeń Język jest wynikiem rozpakowania rozproszonych reprezentacji znaczeń w mózgu i ich komunikowania innym osobom poprzez kanały komunikacyjne w oczekiwaniu ze odpowiadające im reprezentacje zostaną wytworzone w mózgu odbiorcy Modelowanie mowy Uczenie czytania dysleksje Rozpoznawanie znaków, mapowanie ortografii na fonologię (nietrywialne dla angielskiego) i intonacje (wazne w chinskim) Regularności i wyjątki tworzenie zbyt regularnych czasów przeszłych.

4. Podstawy biologiczne Sterowanie aparatem głosowym odpowiedzialne jest za prawidłową wymowę zgłosek. Za to sterowanie odpowiedzialny jest głównie ośrodek Broca w korze czołowej, a za analizę mowy górna kora skroniowa. Brocka: powierzchniowa repr., Wernicke: głęboka reprezentacja.

5. Neuron uczy się prawdopodob. warunkowego, korelacji pomiędzy pożądaną aktywnością a sygnałami wejściowymi; optymalna wartość 0.7 osiągana jest szybko tylko przy małej stałej uczenia 0.005 Organizacja zgłosek Fonemy: spółgłoski i samogłoski, alfabet IPA. 4 wymiary charakteryzujące samogłoski, pozycje języka. Kodowanie: 7 pozycji dla przód/tył, 6 dla góra/dół, 4 dla reszty (kształt warg i długość trwania). Spółgłoski: 3 wymiary. Kodowanie: 7 pozycji dla położenia (loc), 5 dla sposobu (Mnr), 2 dla Vce.

6. Spróbujemy za pomocą symulacji komputerowych znaleźć i zweryfikować za pomocą modeli odpowiedzi na kilka pytań: Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja)? W jaki sposób czytamy znane słówka: cat, yacht, a w jaki wymyślone, np. nust, decydując się na jakiś sposób wymowy? Czemu dzieci mówią „I goed” zamiast „I went”? Skąd bierze się znaczenie słów? Jak od słów przejść do zdań? Pytania

7. Poziom fonologiczny dysleksji: nieistniejące słowa nie wzbudzają głębszych obszarów (Wernicke). Poziom głęboki: błędy fonologiczne i semantyczne (kąt – kot, kot - pies), pomyłki w rozpoznawaniu znaków. Rozproszony leksykon i dysleksje Dysleksja powierzchniowa: nowe słowa nie stanowią problemu ale brak dostępu do poziomu semantycznego + trudności w czytaniu wyjątków + pomyłki w rozpoznawaniu. Model czytania i dysleksji ma dwie drogi od ortografii do fonologii: bezpośrednią (przez mapowanie) i okrężną, semantyczną. Rzadkie i trudne słowa wymawia się dzięki tej okrężnej drodze.

8. 40 słów, 20 konkretnych i 20 abstrakcyjnych; pobudzenia w modelu pokazują podobieństwa fonologiczno-semantyczne. Słowa do czytania

9. TestLog pokazuje słowo, odległość, najbardziej podobne, błąd sm_nm Model Projekt dyslex.proj.gz Sieć została wytrenowana bo wymaga 250 epok. Trenowanie: przypadkowy wybór jednej z 3 warst (ortografia, fonologia, semantyka) jako wejścia a pozostałych dwóch jako wyjścia, mapowanie jednego aspektu na dwa inne. kWTA = 25% dla warstw ukrytych View TestLog, StepTest

10. Dysleksje: w zależności od stopnia uszkodzenia i drogi uszkodzenia dostaniemy różne formy: fonologiczną, głęboką i powierzchniową. lesion_path = Semantics Wyłącza całą warstwę. Błędy: Trial2_TestLog need, loan, flow, past => coat Hire i coat są najczęściej mylone. Odległość fonologiczna od 0 do 1 miara cos(S1,S2) = S1*S2/|S1||S2| Symulacje dysleksji

11. Wpływ lezji na dysleksję Błędy neuronow ukrytych OS_Hid ortograficzno-sematyczne SP_Hid semantyczno-fonetyczne Błędy w wyniku uszkodzenia drogi semantycznej.

12. Lezje całkowite Błędy neuronow ukrytych OS_Hid ortograficzno-sematyczne SP_Hid semantyczno-fonetyczne Błędy w wyniku uszkodzenia drogi semantycznej i bezpośredniej.

13. Modele czytania: mapowanie ortografii na fonologie. Dwa zagadnienia: czy jeden system może się nauczyć wymowy regularnych słów i jednocześnie radzić sobie z wyjątkami? symulacja wymowy nieistniejących słów wymaga odkrycia subtelnych regularności wymowy. Mint, hint, flint => i tak samo, ale w pint całkiem inaczej ... Regularności są często modyfikowane, zależne od kontekstu, mają skupienia (sąsiedztwa), a wyjątki są na krańcach takich modyfikacji. Regularności i wyjątki tworzą kontinuum. Czytanie

14. Reprezentacje nie są zlokalizowane w jednym regionie. Oddziaływania prowadzą do ciekawego podziału pracy. Czytanie: Rozproszony model leksykalny

15. Wymiana pomiędzy zależnymi i niezależnymi podobna w rozpoznawaniu obiektów Potrzeba niezmienników ale tez potrzeba łączenia cech Czytanie jako rozpoznawanie obiektów

16. Model ss.proj.gz r. 10.4.2 7 bloków 3*9 = 189 wejść, 5*84 = 420 w ortografii, oraz 600 ukrytych, 7 bloków po Model czytania 2*10 = 140 fonologicznych elementów. Wejście: słowa do 7 liter, dopełniane, np. best = bbbestt

17. Testy regularności: Głuszko Pseudo-homofony phyce => Choyce Czasy relaksacji sieci jako funkcja częstości i typowości słów. Szybkość czytania ludzi wykazuje podobne zależności. Regularności

18. Związek semantyki i fonologii Projekt pt.proj.gz Tendencje do regularyzacji zmieniają się w miarę dorastania i uczenia się nowych wyrazów. Początkowo trenowano najpierw na nieregularnych a potem regularnych, kontrowersyjne ale daje krzywą w kształcie U. Modele zmieniające stopniowo środowisko uczenia ale bez uczenia Hebbowskiego nie działaja Czasy przeszłe

19. Sieć: semantyczne wejście, warstwa ukryta + fonologiczna. Dane: 389 czasowników, w tym 90 nieregularnych w czasie przeszłym, 4 możliwe końcówki regularne: -ed, -en, -s, -ing, razem 1945 przykłady. Model w Leabra Kooperacja + konkurencja + uczenie Hebbowskie daje sieć, w której mapowanie czasowników reg. i niereg. osiąga dynamiczną równowagę. Torowanie po paru ekspozycjach zmienia zachowanie sieci.

20. Kooperacja + konkurencja + uczenie Hebbowskie daje sieć, w której mapowanie czasowników reg. i niereg. osiąga dynamiczną równowagę. Torowanie po paru ekspozycjach zmienia zachowanie sieci. Model w Leabra

21. Semantyka pojęć jest wynikiem aktywacji rozproszonych po wielu obszarach. Najprostszy model: Hebbowskie silne korelacje pomiędzy słowami, tak jak korelacje pomiędzy elementami obrazów czy fonemami tworzącymi sylaby. LSA- Latent Semantic Analysis, rodzaj PCA, które da się realizować uczeniem z regułą Hebba. Sens słów

22. Słowa w mózgu Sieci działania – postrzegania, wnioski z badań ERP i fMRI. Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne. Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne. Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press.

23. Słowa: prosty model Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowaniew procesie zwycięzca bierze wszystko zostawia jedno słowo. • Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) • Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. • Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna. Cele: zrobić najprostszy model kreatywnego myślenia; tworzyć interesujące nowe nazwy, oddające cechy produktów; zrozumieć nowe słowa, których nie ma w słowniku.

24. Skojarzenia - powtórka Dla trudnych skojarzeń dodawanie szumu u osób słabo kreatywnych nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla słów torujących ortograficznie podobnych przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję. Dlaczego torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych? Słaba kreatywność = słabe skojarzenia (połączenia) miedzy oscylatorami;dodanie szumu (nonsensownych słów) wzmacnia już zachodzące oscylacje umożliwiając wzajemne pobudzenia, dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi do zamieszania, gdyż pobudza wiele stanów.

25. Projekt sem.proj.gz, opis. 10.6.2 Sieć wytrenowana wcześniej odpowiada na pytania ... Quiz

26. Tradycyjne podejście: rozbiór gramatyczny zdań. Alternatywne podejście: rozproszone reprezentacje, gestalt zdania. Podobnie jak w rozpoznawaniu obiektów 3D, nie ma centralnej reprezentacji. Sens zdań Mały światek: zdania zwierające nazwy ludzi, aktywnych i pasywnych działań, obiektów i miejsc. Ludzie: busdriver, teacher, schoolgirl,pitcher. Działania: eat, drink, stir, spread, kiss, give, hit, throw, drive, rise. Obiekty: spot (the dog), steak, soup, ice cream, crackers, jelly, iced tea, kool aid, spoon, knife, nger, rose, bat (animal), bat (baseball), ball, ball (party), bus, pitcher, fur Miejsca: kitchen, living room, shed, park.

27. Projekt sg.proj.gz, opis 10.7.2 Wejście prezentuje słowa, zlokalizowane reprezentacje, w warstwie Encode tworzone są reprezentacje rozproszone, integrowane w czasie w warstwie Gestalt i Gestalt_Context, pytania wiążą się z rolami (agent, pacjent, instrument ...), sieć dekoduje reprezentacje dopełniając je (Filler) Sieć i projekt Np. bat (zwierze) i bat (pałka bejsbolowa) wymaga odróżnienia.

28. Przypisanie ról, dwuznaczność słów, przykłady stosowania pojęć, uszczegółowienie roli, rozstrzygnięcie konfliktów. Testy Mały światek: zdania zwierające nazwy ludzi, aktywnych i pasywnych działań, obiektów i miejsc.

29. Czasowniki jednoznaczne po wytrenowaniu sieci mają takie podobieństwa cosinusowe pobudzeń wewnętrznych. Podobieństwo czasowników

30. Rzeczowniki jednoznaczne po wytrenowaniu sieci mają takie podobieństwa cosinusowe pobudzeń wewnętrznych. Podobieństwo rzeczowników

31. Podobieństw przykładowych zdań: sc_ = schoolgirl bu_ = busdriver te_ = teacher pi_ = pitcher _at = ate _dr = drank _st = stirred _so = soup _st = steak _ic = ice tea _ko = Kool-Aid Kształty zdań i

32. Gry słowne Gry słowne były popularne na długo przed komputerami ... Były bardzo przydatne do rozwoju zdolności analitycznego myślenia.Do niedawna słownych gier komputerowych było bardzo mało. Gra w 20 pytań może być kolejnym wielkim wyzwaniem AI, jest bardziej realistyczna niż nieograniczony test Turinga. Szachy są za proste – komputery szybko liczą, więc wygrywają. Maszyna, zgadująca o czym myślę, musi być inteligentna ... Znajdywanie dobrych pytań wymaga wiedzy i kreatywności. Pozwala na testowanie modeli pamięci semantycznej i pamięci epizodycznej w realistycznych warunkach. Inne zastosowania: identyfikacja obiektów na podstawie ich opisu, uściślanie zapytań dla wyszukiwarek internetowych itp. Potrzebna jest pamięć semantyczna na dużą skalę, miliony pojęć: ontologie, słowniki (Wordnet), encyklopedie, MindNet (Microsoft), projekty kolaboracyjne, np. Concept Net (MIT) … co się da. Nadal nie wystarczy ... przykład gry w 20 pytań.

33. Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja)? Rozproszone reprezentacja leksykalne, interakcje między rozpoznawaniem znaków, poziomem pisowni (ortografia), fonologii i semantyki. W jaki sposób czytamy znane słówka: cat, yacht, a jak wymyślone, np. nust? Dzięki kontekstowo aktywowanym reprezentacjom dającym kontinuum pomiędzy regularnymi formami a wyjątkami. Czemu dzieci mówią „I goed” zamiast „I went”? Z powodu dynamicznej równowagi pomiędzy mapowaniem form regularnych i wyjątków. Skąd bierze się znaczenie słów? Statystyki ko-okurencji, oddziaływań z reprezentacjami danych ze zmysłów. Jak od słów przejść do zdań? Pozawala na to „gestalt zdań” (jedna z teorii w psychologii). Pytania/odpowiedzi dotyczące języka