Neurale Netwerken

1. NeuraleNetwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005

2. practicum • deze week wel deels programmeren Hopfield • volgende week geen programmeren Kohonen • wachten op cijfers  excuses, maar er is een goede reden

3. doel van dit vak vb. Elman – Finding structure in time inleiding NN literatuur onderzoek eigen onderzoek engineering wereld

4. hc 9 • Elman • stof: artikel

5. overzicht • inleiding • netwerk • experimenten • conclusie • andere bronnen

6. inleiding • classificeer input patronen over meerdere tijdstappen (spraak, bewegende beelden,...) • tijd = belangrijk • onderzoek • engineering • neurale netwerken: tijd = moelijk • eenvoudigste oplossing: paralellizeren

7. paralellizeren • meerdere tijdstappen tegelijk aanbieden • nadelen hiervan: • gebruik buffer niet biologisch plausibel • input moet steeds zelfde aantal tijdstappen zijn • inputs die hetzefde zijn, worden verschillend geclassificeerd: (0, 1, 0, 1, 0, 0, 0, 0) = (0, 0, 0, 1, 0, 1, 0, 0) + Δt • hogere plaats en tijd complexiteit • oplossing: recurrente netwerken

8. recurrente netwerken • geheugen: vorige netwerk-toestand is deel van de input • recursie • natuurlijke taalverwerking • Jordan (1986) • Elman (1990)

9. overzicht • inleiding • netwerk • experimenten • conclusie • andere bronnen

10. Jordan (1986) MLP output layer hidden layer context layer

11. output layer hidden layer context layer Elman (1990) backprop FIXED backprop backprop

12. Jordan vs Elman Jordan: hidden(t) = input(t) + output(t - 1) Elman: hidden(t) = input(t) + hidden(t – 1) Waarom is Elman beter dan Jordan? • onderzoek: dichter bij de natuur • engineering: rijker geheugen • voordeel Jordan: output → deel volgende input beter voor te stellen (minder black-box)

13. geheugen bestreikt meerdere tijdstappen door recursieve eigenschap i(nput), h(idden), c(ontext), o(utput) o(t) ← h(t) h(t) ← i(t) + c(t) c(t) = h(t – 1) h(t - 1) ← i(t - 1) + c(t - 1) c(t - 1) = h(t – 2) h(t - 2) ← i(t - 2) + c(t - 2) c(t - 2) = h(t – 3) h(t - 3) ← i(t - 3) + c(t - 3) c(t - 3) = h(t – 4) h(t - 4) ← i(t - 4) + c(t - 4) c(t - 4) = h(t – 5) h(t - 5) ← i(t - 5) + c(t - 5) c(t - 5) = h(t – 6) ...

14. overzicht • inleiding • netwerk • experimenten • conclusie • andere bronnen

15. experiment 1:temporele XOR variant • XOR triples • drie bits achter elkaar aanbieden • de derde wordt bepaald door de eerste twee • | 0, 0, 0 | 1, 0, 1 | 1, 1, 0 | 1, ... • getraind netwerk • gemiddelde error op eerste twee 0,5 • gemiddelde error op de derde 0,0

16. experiment 2:diibaguuuguuubabadii... • zinnen-generator: medeklinkers {b, d, g} in willekeurige volgorde met steeds een vast klinkerpatroon → woorden {ba, dii, guuu} • elke letter is een vector met 6 binaire componenten: (consonant, vowel, interrupted, high, back, voiced) • de letters worden één voor één aangeboden, het netwerk leert de volgende te voorspellen • trainen: 200 keer dezelfde semi-willekeurige input sequentie van 1.000 letters • testen: andere sequentie op dezelfde manier gegenereerd

17. g d d g b i i u a u i a u i u u u zelfde gedrag als bij temporele XOR (medeklinker bepaalt rest woord) in plaats van hele output vector, de error op de componenten analyseren (bijvoorbeeld consonant en voiced) natuurgetrouwe error curve!

18. experiment 3:manyyearsagoaboyandgirllivedbythesea... • zinnen-generator: • lexicon: 15 Engelse woorden, 5-bits vectoren • zinnen van 4 tot 9 woorden • houdt zich aan Engelse woordvolgorde • sequentie van 200 zinnen zonder “whitespace” REDEN: in gesproken taal zitten geen pauzes • trainen: 10 keer dezefde sequentie • testen: op een andere sequentie die op dezelfde manier gegenereerd is

19. m a n y y e a r s a g o a b o y a n d g i r l l i v e d b y t h e s e a t h e y p l a y e d h a p p i l y de rest van een woord wordt niet deterministisch bepaald door eerste letter (lexicon met letter-overeenkomsten tussen de woorden) voorspelbaarheid neemt toe met het aantal letters dat geweest is... natuurgetrouwe error curve!

20. experiment 4:cat eat mouse man sleep ... • woordvolgorde ipv. lettervolgorde • Chomsky (1957) • kan een PDP (parallel distributed processing) netwerk een grammatica leren? • zinnen-generator: • lexicon: 29 Engelse woorden in 13 klasses • elk woord is een 29-bits vector, bv. woman = (00000000000000000000000000010) geen correlaties tussen woorden vanwege orthogonale vectoren

22. trainen: 6 maal door een sequentie van 10.000 zinnen • testen: output vectoren vergelijken met training set statistiek • verder: hidden layer activaties zijn hierarchisch gestructureerd →

25. overzicht • inleiding • netwerk • experimenten • conclusie • andere bronnen

26. conclusie • tijd paralellizeren is simpel, maar niet goed genoeg • door gebruik context layer • geen buffer • inputs van variabele lengte • in tijd verschoven inputs zijn hetzelfde

27. conclusies • Elman net voorspelt klasse, niet instantie (natuurgetrouw) • Elman netwerk vooral voor onderzoek interessant, voor engineers niet zo... HMM wint van NN op NLP • sub-symbolische systemen kunnen hierarchische structuren en verwachtingspatronen leren uit temporele informatie

28. overzicht • inleiding • netwerk • experimenten • conclusie • andere bronnen

29. engineering toepassingengeen tentamenstof APPLICATION OF A RECURRENT NEURAL NETWORK IN ONLINE MODELLING OF REAL-TIME SYSTEMS Keywords: Recurrent Elman networks; modelling; on-line learning; real-time systems. modelling non-linear dynamical systems; fabrieks processen in de gaten houden alarm (of ingrijpen) als metingen van de voorspelling afwijken Considering the number of recurrent neural topologies and training algorithms available, the choice of an appropriate pair (architecture, learning) is intimately dependent on the purposes and can be decisive for its success, e.g. the non-linear control schemes with NN identification. Incorporate available information from the approximate model into the NN initialisation, instead of choosing the weighting values randomly

30. feature extraction input voor Elman net Detection of Transformer Winding Faults Using Wavelet Analysis and Neural Network Keywords: Transformer internal fault, neural network, wavelet transform. analyseer de elektrische signalen van de transformator met een Elman netwerk verhoog betrouwbaarheid, spaar kosten The simulation results of four cases: improved BP-NN with wavelet preprocessing, Elman network with wavelet preprocessing, improved BP-NN without preprocessing, and Elman network without preprocessing are compared and discussed.

31. onderzoekstoepassing COGNITIVE MODDELING zoals ACT-R: vergelijken model/proefpersoon → resultaten zijn hetzelfde → de theorie klopt

32. een antwoord op de vraag: Wat kan een engineer met NN? Therefore the primary focus of this report is to describe algorithms for ANNs which perform particularly strongly for processing the following commonly used applications: • Function approximation; • Time series processing; ELMAN • Classification; • Pattern recognition; These are suggested because they are well established tasks for which ANNs are used extensively.

33. volgende college (laatste) • Spiking Neurons • stof: artikel