Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining

1. Pécsi TudományegyetemPollack Mihály Műszaki KarMűszaki Informatika SzakData Mining 30. Előadás Dr. Pauler Gábor, Egyetemi Docens PTE-PMMFK Villamos Intézet Számítástechnika Tanszék Iroda: Boszorkány u., B épület 101 Tel: 72/503-650/3725 E-mail: gjpauler@acsu.buffalo.edu Készült a PTE Alapítvány támogatásával

2. Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai • Mesterséges neurális hálózatok bevezető • A mesterséges neurális hálózatok története • Biológiai analógia • Mikroszerkezet • Valós neuron és számítógépi megjelenése • Valós neuron és matematikai modellje • Permanens memória • Rövid távú memória • Tüzelés • Szinapszisok • Mesterséges neurális hálózat topológiája • Neuronmezők • A mezőn belüli szinapszis halmazok fajtái • A mezőközi szinapszis-halmazok fajtái • Aktiváció, a neuronok tüzelése • Mesterséges neurális hálózat ábrázolása • Topológiai diagramm • I/O diagramm • Jelzési diagramm • Mátrixos forma • Vezérlési függvény diagramm • Szakirodalom

3. Mesterséges neurális hálózatok bevezető 1 • A Session27–ban tanult szakértői rendszerek (Expert Systems, ES) és a Session28–ban tárgyalt fuzzy rendszerek (Fuzzy Systems, FS) egyik fő hátránya az automatikus ismeretbeszerzési-tanulási képesség hiánya volt • A klasszikus sokváltozós statisztikai módszerek közül a hierarchikus és K-közép klaszterezés (lásd: Session17) és a diszkriminancia analízis (lásd: Session19), illetve a CART/CHAID/QUEST algoritmus (lásd: Session27) rendelkezik egyediből általánosító, indukciós (Induction) képességgel, de ezt sokszor erősen limitálják az adott módszer döntési térbeli eloszlásra tett feltételezései: • A diszkriminancia analízis normális eloszlású, konvex poliéder alakú térrészekben elhelyezkedő, lineárisan szeparálható csoportokat feltételez • A K-közép klaszterezés ugyanezt feltételezi, a normalitás kivételével • A hierarchikus klaszterezés a legközelebbi szomszéd (Nearest Neighbor) agglomerációs módszerrel képes nem konvex döntési térrészekben elhelyezkedő csoportokat felismerni, de nagyon érzékeny a szélsőséges megfigyelésekre (Outlier), sokszor külön csoportot képeznek

4. EredPerEszk 0.18 KotPerEszk 0.14 $ 0.10 $ $ 0.80 $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ 0.69 $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ 0.30 $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ 0.10 $ $ $ $ $ 0.13 0.16 CFPerKot Mesterséges neurális hálózatok bevezető 2 • A CART és a hasonló algoritmusok hipertéglatestek kombinálásával leírható térrészekben elhelyezkedő csoportokat képesek modellezni, • De a döntési térben átlós helyzetben elhelyezkedő eloszlások esetén kevéssé hatékonyak: vagy rossz a predikciós képességük, vagy azonnal túltanulják (Overlearning) a minta adatbázist • Mindezen problémákra az egyik lehetséges megoldást a Mesterséges neurális hálózatok (Artificial Neural Networks, ANN) alkalmazása kínálja: • Olyan eloszlásfüggetlen becslési rendszerek (Distribution Free Estimators), amelyek a döntési térbeli (Decision Space) I/O változók kapcsolatát leíró, nem konvex térrészekben elhelyezkedő, nem lineáris, nem monoton, tengelyekre átlós helyzetű részeket tartalmazó vezérlési függvényeket (Control Function) képesek hatékonyan, kevés moduláris egység közreműködésével modellezni • A vezérlési függvény modelljét tanítómintából (Learning/training sample/pattern/data) történő automatikus tanulással állítják elő

5. Mesterséges neurális hálózatok bevezető 3 • Működésük a konnekcionizmuson (Connectionism) alapul: egyszerű számításokat végző, programozható egységek/ sejtek/ neuronok (Units/ Cells/ Neurons) információt áramoltató összeköttetésekkel/szinapszisokkal (Connection/Node/Synapse) történő hálózatba (Network) kapcsolásán alapul • Amelyek párhuzamos, megosztott információ-feldolgozást (Parallel Distrubuted Processing, PDP) végeznek, az outputok inputokból történő kiszámításához, több diszkrét időperióduson keresztüli dinamikus (Dynamic) folyamatban • A magasabb rendű élőlények idegrendszerének analógiájára épülnek fel, jelentős leegyszerűsítésekkel • A mesterséges neurális hálózatok története: • 1857 Hebb (UK): az asszociáción alapuló tanulás kognitív pszichológiai modellje • 1943 McCullogh – Pitts (USA): az idegsejt első matematikai modellje • 1955 Hopfield (USA): a legegyszerűbb hálózat az asszociatív memória (Associative Memory) használata mintafelismerésre • 1962 Rosenblatt (USA): Perceptron, az első többmezős (Multi-Layer)előrecsatoló (Feedforward) hálózat • 1986 Rummelhart (DE): Backpropagációs (Backpropagation) algoritmussal tanított hálózat, postai levelek kézírásos irányítószámainak felismerésére • 1992 Roska Tamás (Magyarország, MTA-SZTAKI), gyors parallel működéső képfeldolgozó chip, mesterséges szem • 1995 Az első neurális beépülők (Add-in) kezdetleges táblázatkezelőkhöz (Framework, Lotus), tőzsdei árfolyamelőrejelzési alkalmazással

6. Biológiai analógia 1 • Elsőként lássuk az átlagosan 1500cm3 térfogatban százmilliárd (1011) neuront és egykvintillió (1016) szinapszist tartalmazó emberi agy erősen vázlatos felépítését: • A legősibb része a gerincvelő (Spinal Cord) végén lévő agytörzs (Brain stem), amely legjobban védett részként az alapvető életfunkciókat szabályozza (légzés, szívritmus, hőmérséklet, víz és ionháztartás, emésztés, nemi funkciók), innen lép ki a fejen található szerveket idegző 12 pár agyideg (Cerebral nerves) • Mellette található a kisagy (Cerebellum), amely a nem tudatos, reflexszerű mozgáskoordinációért felelős (pl. hogy kezeink és lábaink ne ütközzenek egymásba) • A főemlősöknél az agy különböző kérgi (Cortex)lebenyeinek (Lobe) tömegaránya nő, és barázdálódással nagyobb felületűek lesznek, ezek specializált feladatokat látnak el: • A homloklebeny (Frontal lobe) elülső területe az absztrakt gondolkodásért felelős. Ez az agy jelenleg legkevésbé ismert területe, szőke nőknél hiányzik is.

7. Biológiai analógia 2 • E mögött van a mozgásokkal kapcsolatos mintákat tároló terület (Premotor area). Ennek alján van a beszédmozgás-vezérlő (Motor speech area) • Mögötte a tudatos mozgásvezérlő (Primary motor cortex) helyezkedik el. Itt fentről lefele a láb, törzs, kéz, fej, arc, száj vezérlői (Motoric areas) vannak. • A fejtetői lebeny (Parietal lobe) kérgének elején (Primary Somesthetic Cortex) hasonló sorrendben, de eltérő beosztásban kapnak helyet a testi érzékelő központok (Sensory Areas) • Ez mögött az érzékelt minták tárolóterülete (Somesthetic association area) van, alján a beszédfelismerő központtal (Sensory speech area) • A halántéklebenyben (Temporal lobe) felül a hallókéreg (Primary auditory cortex), az alatt a hangminták tárolója (Auditory Association area), az alatt az egyensúlyozás-helyzetérzékelés van. • A hátsó lebenyben (Occipital lobe) a látókéreg (Visual cortex), illetve a látott képek tárolóterülete (Visual association area) helyezkedik el.

8. Biológiai analógia 3 • Jelenleg a kisagy kérgének felépítése a legjobban feltárt, három rétegre (Layer) oszlik, melyek közül az első a molekuláris réteg (Molecular layer) benne specializált idegsejtekkel. • A rétegeket inputokat hozó (Afferent/ Ascending) és outputokat elszállító (Efferent/ Descending)szinapsziskötegek (Fiber) kötik össze.

9. Biológiai analógia 4 • Egy neuronból átlagban 10000 szinapszis indul ki, de ez a szám nagyon szóródik. A köztes jelfeldolgozók (Interneuron)két kötegesek (Bipolar), az érzékelők (Sensory) egy kötegesek (Unipolar), a mozgatók (Motory)sok kötegesek (Multipolar), a piramis-sejtek (Pyramidal) szinapszisai fenyőfa-alakzatúak, funkciójuk jelenleg nem teljesen ismert • A kisagykéreg mikro-szerkezete (Micro-circuitry) sokfajta specializált sejt és szinapszisköteg izgató (Excitatory, +) vagy gátló (Inhibitory, -) kapcsolódásából épül fel: MF: Moharost DCN: Mély kisagyi közvetítő sejt IO: alárendelt oliva színű sejt CF: felszálló köteg GC: szemcsesejt PF: Párhuzamos köteg PC: Purkinje sejt GgC: Golgi sejt SC: Csillag sejt BC: Kosár sejt (jórészük pontos szerepe és műkö- dése jelenleg nem Ismert)

10. Biológiai analógia 5 • A Johann Evangelista Purkinje által 1830-ban felfedezett Purkinje-sejt az agyban előforduló legnagyobb méretű idegsejt, melynek több 1000 szinapszisa mindig egy trapéz alakú sík térrészben foglal helyet a kisagyi kéregben. Pontos szerepe máig sem ismert. • Bár a jelenlegi pozitron emissziós tomográf (PET) képalkotó technológia és kontrasztanyagai már lehetővé teszik elhelyezkedésének feltérképezését, ez nem ad támpontot arra nézve, hogy időben, dinamikusan hogy működik együtt más sejtekkel az élő agyszövetben. Az elektródák beültetése ezen méréshez olyan finom módszer, mintha úthengerrel simogatnánk egy macskát. • Ezért jelentős kutatások folynak a neuronok biológiailag valósághű matema- tikai modellezése érdekében. • Ehhez egyre na- gyobb teljesítményű szoftverek vannak, néhányat megadtunk a szakirodalomban. (a diagrammon egy Purkinje sejtCa2+ion koncentrációja látható)

11. Az idegsejteket Microglia sejtek tartják mechanika-ilag a helyükön és eszik meg a tönkrementeket • Astrociták táplálják őket erekből felvett glükózzal • Oligodendrociták állítják elő a csatolások szigete-lését adó Myelint • Az idegsejt membránja (Cell body) szigeteletlen rövid Dendriteken veszi fel az input elektromos jeleket 2.3m/s sebeséggel • Hosszú, myelines Neuro-lemmocitákkal szigetelt Axonokon ad ki output jelet 90m/s sebeséggel • A végbunkók (Synaptic Terminal) felé, melyek ingerületátvivő (Neuro Transmitter) anyagokat löknek ki a következő idegsejt membránjára, ezek ott ion kapukat (Ion Channel) nyitnak ki Mikroszerkezet 1 Az elektronok a Ranvier- befűződések közt ugranak át a myelinen nem az axon-ban halad-nak, ezért olyan gyors!

12. Mikroszerkezet 2 • Az idegsejt glükózból és oxigénből nyert adenozin-trifoszfát (ATP) energiaforrás felhasználásával egy K+ -kifele/Na+-befele ion pumpát működtet, amivel környezetéhez képest -170mV alappontenciált tart fenn • Ha izgalomba jön, és tüzel (Firing), akkor beengedi a K+ ionokat és -210mV-ra történő elektromos potenciálváltás fut végig a membránján, dendritjein, és axonjain. Ez a végbunkócskákban bonyolult vegyi folyamatok révén ingerület átvivő anyagokat (acetil-kolint, hisztamint) szabadít fel, amelyek kinyitják a következő kapcsolódó sejt membránján a K+ ion kapukat, így az ingerület tovaterjed a hálózatban. • Jelenleg még az elemi építőkőnek számító végbunkócskák működése sem ismert pontosan: jóval nagyobb sebeséggel továbbítják az ingerületet, mint az a résztvevő ionok és molekulák tömege és az őket gyorsító elektromos erőtér alapján lehetséges lenne • Ezért sokan kvantumfizikai hatásokat, vagy téridő-mikrogörbületeket (Holon) sejtenek e mögött, de ezekre az erősen spekulatív elméletekre jelenleg még közvetett bizonyítékok sincsenek.

13. Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai • Mesterséges neurális hálózatok bevezető • A mesterséges neurális hálózatok története • Biológiai analógia • Mikroszerkezet • Valós neuron és számítógépi megjelenése • Valós neuron és matematikai modellje • Permanens memória • Rövid távú memória • Tüzelés • Szinapszisok • Mesterséges neurális hálózat topológiája • Neuronmezők • A mezőn belüli szinapszis halmazok fajtái • A mezőközi szinapszis-halmazok fajtái • Aktiváció, a neuronok tüzelése • Mesterséges neurális hálózat ábrázolása • Topológiai diagramm • I/O diagramm • Jelzési diagramm • Mátrixos forma • Vezérlési függvény diagramm • Szakirodalom

14. wik wik bi Si(xit) ui ai xit li Sj wji wji Valós neuron és számítógépi megjelenése • A fenti elektronmikroszkópos felvételen egy idegsejt látható egy jelenlegi technikai szintű mikroprocesszor elemi vezetékpályáira fektetve. Az idegsejt 10-12-szer nagyobb méretű ezeknél, viszont olyan lebegőpontos számítási funkciókat lát el, melyek gépi ábrázolásához logikai kapuk és kondenzátorok százaira van szükség egy digitális áramköröket tartalmazó chipben. • Emellett az idegsejt sok nagyságrenddel energiatakarékosabb, mint a digitális áramköri elemek. Egy emberi aggyal összemérhető, bár annál jóval lassabb feldolgozási sebességű 100TByte-os tárolókapcitású, klaszter elvű szuperszámítógép (kb. 10000 node-dal) működtetéséhez jelenleg egy kisebb erőmű szükséges • Az emberi agy viszont 1500cm3 térfogatban még 15-20 másodpercnyi működéshez szükséges energiahordozókat és oxigént is tárol.

15. wik wik bi Si(xit) ui ai xit li Sj wji wji Valós neuron és matematikai modellje 1 Permanens memória (Non-volatile Memory): a j=1..m neuronokból az i=1..n neuronok felé menő ji szinapszisok t=0..T időperióduson keresztül az sjt jelzéseket eltérő wjitintenzi- tással, súllyal (Weight) konvertálják ingerület- átvivők kibocsátásába • A rendszer tanítása a kezdetben véletlen ér- téket felvevő wji0 súlyok megváltoztatásából áll Rövid távú memória (Volatile Memory): • A neuronok egy aktivációs folyamatban (Neural Activation)xit membrán értékekbe (Membrane Value)aggregálják (Aggregate) a szinapszisok wjit×sjt súlyozott jelzéseit, illetve adott (1-di)le- csengési ráta (Decay Rate) szerinti ütemben le- csengetik (Passive Decay) azt, a membrán érték [li, ui] alsó-/felső korlátokon belül tartása és idő- beli simítása miatt. Az aggregáció módjai: • Additív (Additive): xit=di(Sj(wjit×sjt)/Sj(wjit))+(1-di)×xit-1i=1..n,j=1..m,t=1..T (30.1) • Multiplikatív (Multiplicative): xit=diPj(sjtwjit)(1/ Sj(wjit))+(1-di)×xit-1, i=1..n, j=1..m, t=1..T (30.2) (az azonosan aggregált csatolások 1 dendrithez (Site) csatlakoznak)

16. wik wik wik wik bi bi Si(xit) Si(xit) ui ui ai xit li Sj ai xit li Sj wji wji wik wik wji wji bi Si(xit) ui ai xit li Sj wji wji Valós neuron és matematikai modellje 2 Tüzelés (Firing): a neuron sit=Si(xit)jelzési függvénye (Signal Function) mindig szigorúan monoton növekvő, [li, ui] alsó/felső korlátok közt helyezkedik el, aitüzelési határértékkel (Threshold) és bimeredekséggel (Slope): • Lineáris (Linear): sit+1 = (xit - ai) / bi + (ui– li)/2, i=1..n, t=1..T (30.3) Csak input neuronokban használatos mert nem korlátos • Szakaszonként lineáris (Sectionwise linear): sit+1 = Max(li, Min(ui,(xit - ai) / bi + (ui– li)/2)), i=1..n, t=1..T (30.4) Egyszerűsítés, a lebegőpontos műveletek elkerülésére végett használatos • S-görbe (Sigmoid/Logistic): sit+1 = 1/(1+exp(-(xit - ai)/b i))×(ui– li)+ li, i=1..n, t=1..T (30.5) A biológiában ez a leggyakoribb, de lebegőpontos számításokat követel A tüzelés során kiadott sit jelzés wikt súlyokkal súlyozott formában (sit × wikt) terjed tovább a szinapszisokon

17. bk Sk(xkt) uk ak xkt lk Sj wki wik bi Si(xit) ui ai xit li Input Valós neuron és matematikai modellje 3 Awiktszinapszisok/ kapcsolatok/ csatolások (Synapse, Connection) tulajdonságai mesterséges neurális hálózatokban: • iéskneuronok köztit időpontbeliwikt R valós súllyal ellátott összeköttetetés • Erősség (Srength) szerint lehet: • Izgató (Exciting): Pozitív súlyúwikt>0 • Gátló (Blocking): Negatív súlyú wikt<0 • Jelkódolás (Signal Encoding) szerint lehet: • Amplitúdó-modulált (AM, Amplitude Modulation): a jel nagysága hordozza az infót. A biológiában csak az egyszerűbb vezérléseknél található meg.A matematikai modellekben túlnyomórészt ezt használjuk. • Frekvencia modulált (FM, Frequency Modulation): azonos nagyságú jelek sűrűsége hordozza az infót. A biólógiában a nagy pontosságú, gyors vezérléseknél (pl. kéz-/ szemmozgás)elterjedt, a matematikában csak a biológiailag valósághű modellezésnél használatos • Irányultság (Direction) szerint lehet: • Előrecsatoló (Feedforward): csak az inputtól az output irányában közvetítjelzést, visszafele nem: wiktR, wkit=0 • Visszacsatoló (Recurrent): csak az outputtól az input irányában közvetítjelzést, odafele nem: wikt=0,wkitR

18. wik wii bk Sk(xkt) uk ak xkt lk Sj bi Si(xit) ui ai xit li Input Valós neuron és matematikai modellje 4 • Kétirányú (Bidirectional): mindkét irányban közvetít jelzést: wijt = wjit R • Önmagára visszacsatoló (Recursive, Self-connected): mind a kiinduló, mind a végpontja ugyanaz a neuron: wiitR • Aneuron membránérték-memóriájának (Volatile Membrane Memory) modellezésénél, • Vagy frekvencia-modulált jelzés modellezésénél használatos:a neuronok önvisszacsatoló szinapszisai szabályos időközönként (0.01s-0.1s) tüzelésre késztetik őket. Az ingerület-átvivők mennyiségének növekedésével a tüzelés frekvenciája nő. • Késleltetés (Delay) szerint lehet: • Azonnali csatolás (Prompt): ez azáltalános • Késleltetett csatolás (Delayed Connection): • Véges impulzusszámú válasz (Finite Impulse Response, FIR) szűrőt alkalmaz • Ami időben eltolja az átfolyó jelzéseket • Idősori előrejelzőkben használatos

19. Valós neuron és matematikai modellje 5 A matematikai modell fontos eltéréseket tartalmaz a valósághoz képest: • A valóságban a szinapszisok ingerület-átvivőkön alapuló kémiai információ tárolása a hosszú távú memória (Non-volatile/Long Term Memory, LTM) alapja, 0.5-5 sec alatt tanítható és több évig képes tárolni. Emellett az elektromos membrán-potenciálok a rövid távú memória (Volatile/Short Term Memory, STM) alapját képezik, ami 0.01 sec alatt vált állapotot, és kb. 7-8 sec-ig tárol. Matematikai modellekben az (1-di)lecsengési ráta (Decay Rate) szabályozza a memória stabilitását, nem a tárolás alapja. • A valóságban a neuronok membránjai nem számtani vagy geometriai átlagolással aggregálnak, mint az a (30.1) és (30.2) formulákban szerepel, hanem csak töltést összegezni tudnak, mivel elektronikailag kondenzátoroknak (Condenser) felenek meg. A multiplikatív aggregációt az jeleníti meg, hogy az output neuronok speciális dendritjei (Site) az ingerület átvivők mennyiségével nem egyenesen arányosan, hanem logaritmikusan engednek be ionokat. A logaritmikusan transzformált jelzések összeadása szorzásnak felel meg. A passzív lecsengetés gondoskodik róla, hogy az összegzett jelzések ne vehessenek fel végtelen nagy értéket. Ezt azonban nehéz egyedileg belőni, így a matematikai modellben átlagokat haszálunk, és a passzív lecsengés csak időbeli simítási funkciót lát el.

20. Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai • Mesterséges neurális hálózatok bevezető • A mesterséges neurális hálózatok története • Biológiai analógia • Mikroszerkezet • Valós neuron és számítógépi megjelenése • Valós neuron és matematikai modellje • Permanens memória • Rövid távú memória • Tüzelés • Szinapszisok • Mesterséges neurális hálózat topológiája • Neuronmezők • A mezőn belüli szinapszis halmazok fajtái • A mezőközi szinapszis-halmazok fajtái • Aktiváció, a neuronok tüzelése • Mesterséges neurális hálózat ábrázolása • Topológiai diagramm • I/O diagramm • Jelzési diagramm • Mátrixos forma • Vezérlési függvény diagramm • Szakirodalom

21. who who who who bh bo bo bh Sh(xht) Sh(xht) So(xot) So(xot) uo uh uo uh ah ao ao ah xht xot xht xot lh lo lh lo wih wih wih wih Sj Sj Sj Sj bi bi Si(xit) Si(xit) ui ui ai ai xit xit li li Input Input Neurális topológia 1 Mesterséges neurális hálózat topológiája (ANN, Artificial Neural Network Topology): • Neuronok halmazai és az őket összekötő szinapszisok rendszere. • Meghatározza, hogy az adott hálózat milyen bonyolult ismereteket képes megtanulni • Irányított gráffal modellezzük, melynek csomópontjai a neuronok, élei a szinapszisok Neuronmezők (Neuron Field):i=1..n neuronok azonos Sj membrán aggregációval, Si jelzési függvénnyel, ai aktivációs határértékkel, bi jelzési függvény meredekséggel, ui, li jelzési korlátokkal bíró csoportjai, amelyek fizikailag egy helyen találhatók valamilyen alakzatba rendezve, és környezetükhez azonos módon kapcsolódnak: • i=1..nInput mező (Input Field): • Érzékelőkről (Receptor) kap membrán értékeket, általában lineáris jelzési függvényű, és a rejtett/output mező felé adja ki a jelzést • h=1..HRejtett mező (Hidden Field): • Egy input vagy rejtett mezőtől kap membrán értékeket • Egy másik rejtett vagy output mező felé adja ki a jelzést • Általában szigmoid jelzési függvényű • És a legtöbbször több neuron van benne, mint az input mezőben • o=1..OOutput (Output Field): • Egy input/rejtett mezőtől kap membrán értékeket • A vezérelt eszköz felé adja ki a jelzéseket • Lehet lineáris vagy szigmoid jelzési függvényű • A legtöbbször kevesebb neuronból áll, mint a rejtett mező Neuronmezők szélessége (Width): az egyes mezőbe rendezett neuronok száma A topológia mélysége (Depth): a neuronmezők száma

22. wih wih who who who who bh bh bo bo bh bh bh bh bh bh Sh(xht) Sh(xht) Sh(xht) Sh(xht) Sh(xht) Sh(xht) Sh(xht) So(xot) So(xot) Sh(xht) uh uh uh uh uh uo uh uh uo uh ao ah ah ah ao ah ah ah ah ah xht xot xht xht xht xht xht xot xht xht lh lh lh lh lh lh lo lo lh lh Sj Sj Sj Sj Sj Sj Sj Sj Sj Sj bi bi bi bi bi bi bi bi Si(xit) Si(xit) Si(xit) Si(xit) Si(xit) Si(xit) Si(xit) Si(xit) ui ui ui ui ui ui ui ui ai ai ai ai ai ai ai ai xit xit xit xit xit xit xit xit li li li li li li li li Input Input Input Input Input Input Input Input Neurális topológia 2 A mezőn belüli szinapszis halmazok fajtái • Nincs: ez a legáltalánosabb • Komplementer (Complementary): pozitív súlyok • Kompetitív (Competitive): negatív súlyok, a neuronok kölcsönösen csökkentik egymás membrán értékeit, nagy szerepe van mintafelismerő rendszereknél A mezőközi szinapszis-halmazok fajtái • Direkt csatolás (Direct Connection): A két mező neuronjainak 1:1 hozzárendelése • Teljes csatolás (Full Connection): A két mező neuronjainak N:M hozzárendelése (Descartes-szorzat) • Alakfeltérképező csatolás (Self-Organizing Map Connection): • Az input mezőben minden neuron egy input döntési változót képvisel • Az output mező neuronhalmaza az egyes döntési változók szerinti, megadott számú osztópontok halmazainak Descartes-szorzata • Az output mező neuronjai térrácsot alkotnak a döntési térben, köztük kompetitív belső csatolás van • Az input/output mező közt teljes előrecsatolás van • K-közép klaszterezéssel analóg működésű hálózatokban használatos, az output mező neuronjai a klaszter centrumok • Sanger-féle csatolás (Sanger Connection): • Egy nagyszámú neuront tartalmazó input mezőt • Kisebb számú output mezővel kapcsol • Teljes előrecsatolással • A faktoranalízissel analóg módon működő hálózatokban használatos, az output mező neuronjai a faktorok

23. Neurális topológia 3 Aktiváció, neuronok tüzelési rendszere (Activation, Firing of Neurons) • Célja outputok létrehozása inputokból.Fajtái: • Szinkron (Synchronous): • Diszkrét időperiódusokra van osztva a rendszer működése • Egy időperiódusban minden neuron aktiválódik és tüzel, nagy memóriaigényű de pontos • Aszinkron (Asynchronous): • Véletlen permutációs (Random Permutation): • Véletlen nem visszatevéses mintavétellel mindegyik egyszer és csak egyszer tüzel • Véletlen (Random): • Véletlen visszatevéses mintavétellel tüzelnek, lehet hogy többször, vagy egyszer sem • Sorfolytonos (Serial): • Önkényes sorrendben tüzelnek • Ez a legkisebb memóriaigényű és leggyorsabb, de nagyon erősen torzít • Topológiai sorban (Topologic): • Előbb az input neuronok, majd az output neuronok tüzelnek • Kis erőforrás-igényű és nem torzít • Főleg előrecsatoló hálózatoknál jó • Időablakos eltolással (Time Delay) • Nem a kurrens jelzéssel dolgozik, hanem egy korábbi időperióduséval • Idősori modelleknél használatos • Stabilitási (Stable) • Visszcsatoló hálózatokban addig folytatja ciklusokban a tüzelést, amíg Ljapunov stabil hálózat állapotot nem ér el, a változások már nem lépnek túl egy határértéket

24. Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai • Mesterséges neurális hálózatok bevezető • A mesterséges neurális hálózatok története • Biológiai analógia • Mikroszerkezet • Valós neuron és számítógépi megjelenése • Valós neuron és matematikai modellje • Permanens memória • Rövid távú memória • Tüzelés • Szinapszisok • Mesterséges neurális hálózat topológiája • Neuronmezők • A mezőn belüli szinapszis halmazok fajtái • A mezőközi szinapszis-halmazok fajtái • Aktiváció, a neuronok tüzelése • Mesterséges neurális hálózat ábrázolása • Topológiai diagramm • I/O diagramm • Jelzési diagramm • Mátrixos forma • Vezérlési függvény diagramm • Szakirodalom

25. who who who who bo bo bh bh So(xot) So(xot) Sh(xht) Sh(xht) uh uo uo uh ah ao ao ah xot xht xht xot lo lh lh lo wih wih wih wih Sj Sj Sj Sj bi bi Si(xit) Si(xit) ui ui ai ai xit xit li li Input Input Neurális hálózat megjelenése Topológiai diagrammon A neurális hálózat topológiáját topológiai diagrammon (Topology Diagram) ábrázolhatjuk, ami egy irányított gráf (Directed Graph), ahol: • A csomópontok (Node) ábrázolják a neuronokat: • Alul az aggregáció módjának a kijelzése látható (Sj vagy Pj) • Középen a jelzési függvény ábrázolása az ai határértékkel, bi meredekséggel, ui, li korlátokkal • Az élek (Edge) ábrázolják a súlyozott összeköttetéseket: • Az él irányítottsága fejezi ki a jelzés haladási irányát • Az él színe vagy vastagsága fejezi ki a wij súly nagyságát • A csomópontok térben neuronmezőkbe (Neuron Field) rendezettek lehetnek • Az input mező általában alul val bal oldalt, az output mező fent vagy jobb oldalt helyezkedik el • A topológiai diagramm korlátlan számú neuront tud ábrázolni, de az aktivációs folyamat függvénytranszformációit nem mutatja be, csak a hálózat szerkezetét

26. wji×Sj(xj) xi bi Sj ai Si(xi) Si(xi) wik wik×Si(xi) Si(xi) wik wik×Si(xi) Neurális hálózat megjelenése az I/O diagrammon • Az I/O diagramm a neurális hálózat függvénytranszformációinak legrész-letesebb ábrázolása, de minden neuronhoz csak 2 input jelzést tud ábrázolni: • A súlyozott jelzések egy koordináta tengelyen jelennek meg, majd egy dendriteket szimbolizáló vezető-rácsozat átlagolja vagy össze-szorozza őket • A jelzési függvény a neuront szimbolizáló kör belsejében lévő koordináta rendszerben jelenik meg • A szinaptikus súlyok a kimenő jelzést transzformáló lineáris függvények a szinapszisok „kanyarodásainál”

27. bi Si(xi) Si(xi) Si(Sj(wji×Sj(xj))) ai Sj(xj) Sj(xj) wji wji Neurális hálózat megjelenése a Jelzési diagrammon • A jelzési diagramm (Signal Diagramm) a jelzési függvénytranszformációkat tömörebben ábrázolja: egyetlen 3D függvényként mutatja a kapcsolati súlyok, az aggregáció és a jelzési függvény együttes hatását • Emiatt a kapcsolati súlyok, jelzési határértékek és meredekségek nem figyelhetők meg közvetlenül rajta, mint az I/O diagrammon, viszont áttekinthetőbb formában mutatja a hálózat szerkezetét és a jelzések áramlását: a szinapszisokat széles szürke nyilak ábrázolják, a bennük áramló jelzés intenzitását a vörös nyilak • A diagramm hátránya, hogy csak két input neuron aggregá-cióját képes megjeleníteni

28. Neurális hálózat megjelenése Mátrixos formában • A mátrixos forma (Matrix Form) a neurális hálózat legtömörebb ábrázolása, korlátlan számú I/O neuront tud ábrázolni, de a hálózat szerkezetét, és a transzformációkat nem mutatja • A neuronok a zöld membrán érték- és a pirosjelzési függvény vektor (Mebran/Sinal Vector) elemei, ezeket térben összerendezve egy kékmezőben (Field) is mutathatja • Szinapszisaik a sárgaszinaptikus súlymátrix (Syanptic Matrix) egy oszlopa, a dendritjei egy sora

29. Neurális hálózat megjelenése Vezérlési függvény diagrammon A vezérlési függvény diagramm (Control Function Plot) 2 input változó (x,y) terében képes ábrázolni tetszőleges számú neuron által megjelenített vezérlési függvényt

30. Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai • Mesterséges neurális hálózatok bevezető • A mesterséges neurális hálózatok története • Biológiai analógia • Mikroszerkezet • Valós neuron és számítógépi megjelenése • Valós neuron és matematikai modellje • Permanens memória • Rövid távú memória • Tüzelés • Szinapszisok • Mesterséges neurális hálózat topológiája • Neuronmezők • A mezőn belüli szinapszis halmazok fajtái • A mezőközi szinapszis-halmazok fajtái • Aktiváció, a neuronok tüzelése • Mesterséges neurális hálózat ábrázolása • Topológiai diagramm • I/O diagramm • Jelzési diagramm • Mátrixos forma • Vezérlési függvény diagramm • Szakirodalom

31. Szakirodalom 1 • Neurális hálózatok elméletével kapcsolatos jegyzetek CANAL-formátumban, magyarul: NeuralTheoryNotes.doc • Összefoglaló a biológiai analógiáról, angolul: http://health.howstuffworks.com/brain.htm • Marco Balsi internetes tankönyve, chat-szobája, szoftver- és példa gyűjteménye neurális hálózatokról angolul: http://www.geocities.com/siliconvalley/lakes/6007/Neural.htm • Nem kerekedelmi licenszű neurális szoftverek: • Forráskód csomagok telepítő nélkül C-ben: • SNNS: http://www-ra.informatik.uni-tuebingen.de/SNNS/ (C forráskód, ingyenes, GUI, Tutorial HTML-ben és PDF-ben, Stuttgarti Egyetemen tanítják) • http://www.generation5.org/xornet.shtml • http://www.netwood.net/~edwin/Matrix/ • http://www.netwood.net/~edwin/svmt/ • http://www.geocities.com/Athens/Agora/7256/c-plus-p.html • http://www.cs.cmu.edu/afs/cs.cmu.edu/user/mitchell/ftp/faces.html • http://www.cog.brown.edu/~rodrigo/neural_nets_library.html • http://www.agt.net/public/bmarshal/aiparts/aiparts.htm • http://www.geocities.com/CapeCanaveral/1624/ • http://www.neuroquest.com/ • http://www.grobe.org/LANE • http://www.neuro-fuzzy.de/ • http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/neural/systems/cascor/ • http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/neural/systems/qprop/ • http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/neural/systems/rcc/

32. Szakirodalom 2 • Nem kerekedelmi licenszű neurális szoftverek: • Forráskód csomagok telepítő nélkül Java-ban: • Java Neural Networks by Jochen Frölich: http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-index.html (Java Class forráskód, Internetes applet Kohonen-hálózatokról, ingyenes, nincs GUI, Tutorial HTML-ben) • http://www.philbrierley.com/code • http://rfhs8012.fh-regensburg.de/~saj39122/jfroehl/diplom/e-index.html • http://neuron.eng.wayne.edu/software.html • http://www.aist.go.jp/NIBH/~b0616/Lab/Links.html • http://www.aist.go.jp/NIBH/~b0616/Lab/BSOM1/ • http://www.neuroinformatik.ruhr-uni-bochum.de/ini/PEOPLE/loos • http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.html • http://www.isbiel.ch/I/Projects/janet/index.html • http://www.born-again.demon.nl/software.html • http://www.patol.com/java/NN/index.html • http://www-isis.ecs.soton.ac.uk/computing/neural/laboratory/laboratory.html • http://www.neuro-fuzzy.de/ • http://openai.sourceforge.net/ • http://www.geocities.com/aydingurel/neural/ • http://www-eco.enst-bretagne.fr/~phan/emergence/complexe/neuron/mlp.html • Biológiai modellező szoftverek: • Neuron: http://www.neuron.yale.edu/neuron/ (ingyenes, GUI, Win XP telepítő, Tutorial HTML-ben, Yale-n tanítják) • Genesis: http://www.genesis-sim.org/GENESIS/ (GNU licenszes, GUI, Win XP telepítő, Tutorial HTML-ben, Caltech-en tanítják, gyenge a backpropagációs része) • PDP++: http://www.cnbc.cmu.edu/Resources/PDP++//PDP++.html (C++ forráskód, GUI, Win XP telepítő, Tutorial HTML-ben)

33. Szakirodalom 3 • Döntéstámogatási szoftverek: • JNNS: http://www-ra.informatik.uni-tuebingen.de/software/JavaNNS (Az SNNS leegyszerűsített változata Java-ban, GNU licenszes, GUI, Win XP telepítő, Tutorial PDF-ben, Tübingeni Egyetemen tanítják) • JOONE: http://www.joone.org (Java, GNU licenszes, GUI, Win XP telepítő, Tutorial PDF-ben) • Kereskedelmi licenszű neurális döntéstámogató szoftverek: • NeuroSolutions: http://www.neurosolutions.com/download.html (60 napos shareware, nincs mentés, GUI, Win XP telepítő, Excel Add-in, Excel Wizard, MATLAB modul, Tutorial PDF-ben, Orvosi informatikai, és automatikus járműirányítási alkalmazások) • NeurOK: http://soft.neurok.com/dm/download.shtml (Excel Add-in, C forráskód, XML-es felület, Win XP telepítő, Pénzügyi alkamazások) • EasyNN: http://www.easynn.com/dlennp.htm (30 napos shareware, GUI, Win XP telepítő, Tutorial HTML-ben, pénzügyi előrejelzési alkalmazások) • ALNFit Pro: http://www.dendronic.com/downloadalnfit_pro.shtml (30 napos shareware, GUI, Win XP telepítő, Tutorial PDF-ben, pénzügyi előrejelzési alkalmazások) • Trajan: http://www.trajan-software.demon.co.uk/Downloads.htm (30 napos shareware, GUI, Win XP telepítő, Tutorial HTML-ben, nincs még valós alkalmazása) • AINet: http://www.ainet-sp.si/NN/En/nn.htm (1 napos shareware, GUI, Win 95 telepítő, Tutorial PDF-ben, nincs még valós alkalmazása) • NeNet: http://koti.mbnet.fi/~phodju/nenet/Nenet/Download.html (teljesítmény limitált shareware, GUI, Win 95 telepítő, Tutorial HTML-ben, SOM hálózatokra kihegyezve) • Kiegészítő csomagok statisztikai szoftverekhez: • Statistica Neural Networks: https://www.statsoft.com/downloads/maintenance/download.html (nincs shareware, GUI, Win XP telepítő, Tutorial mozifájlokban)

34. Szakirodalom 4 • Kiegészítő csomagok MATLAB-hoz: • Matlab Neural Toolbox: http://www.mathworks.com/products/neuralnet/ (Nincs shareware) • SOM ToolBox: http://www.cis.hut.fi/projects/somtoolbox/download/ (Matlab 5, ingyenes, GUI, Tutorial PDF-ben) • FastICA: http://www.cis.hut.fi/projects/ica/fastica/code/dlcode.shtml (Matlab 7, ingyenes, GUI, Tutorial PDF-ben) • NetLab: http://www.ncrg.aston.ac.uk/netlab/down.php (Matlab 5, ingyenes, GUI, Tutorial PDF-ben) • NNSysID: http://www.iau.dtu.dk/research/control/nnsysid.html (Matlab 7, ingyenes, GUI, Tutorial PDF-ben) • Pénzügyi előrejelzésben használatos Excel Add-In-ek: • NeuroShell: http://www.neuroshell.com/ (nincs shareware, piacvezető) • NeuroXL: http://www.neuroxl.com/ (nincs shareware) • Több mint 50 kereskedelmi licenszű neurális szoftver összehasonlító elemzése, linkekkel: http://wwwcs.uni-paderborn.de/~IFS/Tools/neural_network_tools.htm