Il neurone e i suoi componenti Il nucleo I dendriti L’assone Le connessioni sinaptiche

1. Il neurone e i suoi componenti Il nucleo I dendriti L’assone Le connessioni sinaptiche

3. Reti neuronali artificiali (RNA) (Artificial Neural Networks, ANN) dalla neurobiologia e neurochimica, -struttura di elaborazione distribuita ed altamente interconnessa (~1011 neuroni e ~1015 connessioni nel cervello umano, ~1ms tempi di commutazione, ~10-6 joule/ciclo) - meccanismi di apprendimento e adattamento (anche dalla neuropsicologia) approccio storico approccio funzionale

4. Riconoscitore lineare: y= wTx=Siwixi; i=1N Percettrone: y=s(s) con s=wTx=Siwixi; i=1N s= campo indotto locale Riconoscitore a stadi: y=s(s2) con s2=f(s1) con s1=wTx=Siwixi; i=1N Riconoscitore generalizzato: y=f(W,x)

5. Metodo di addestramento istantaneo (al singolo campione) • Riconoscitore lineare • y= wTx E=(d-y)2 =e2 • Dw=-hdE/dwDE=-h(dE/dw)2<0 dE/dw=-ex • Dw=-hdE/dw =hex • Riconoscitore a stadi • y=s(s2) con s2=f(s1) con s1=wTx=Siwixi; i=1N • Dw=-hdE/dw =-h (dE/dy)(dy/ds2) (ds1/ds2) (ds2/dw) • Dw= he s’(s2) (ds1/ds2) x

6. Metodo di addestramento a blocchi (al singolo campione) Riconoscitore lineare y= wTx=Siwixi; i=1NE=E [d-y]2 = E [e]2 E=E [d- Siwixi]2 = E [d2 +2 Siwidxi +Si(wixi)2] =E [d2 ]+ 2 Siwi E [dxi]+ E [ Si(wixi)2] L’ errore minimo si ha quando dE/dw=0 e cioè dE/dwi= 2 E [dxi]+2 wiE [xi)2]=0 wi= - E [xi)2/E [dxi]

7. Caratteristiche delle RNA - non linearita’ - apprendimento(senza maestro)/addestramento (con maestro) - adattamento (plasticita’ e stabilita’) - risposta probativa (affermazione di non riconoscimento) - informazioni contestuali - tolleranza ai guasti - analogie neurobiologiche - realizzazione VLSI - uniformita’ di analisi e progetto

8. I metodi di apprendimento delle RNA Apprendimento (addestramento non supervisionato) a) e’ definito il numero delle classi K b) e’ definito il criterio di appartenenza ad un stessa classe e’applicato solo il campione X Addestramento (apprendimento supervisionato) e’ applicata la coppia campione-classe (X,Y*) Ibridi (adattativi) a) e’ definito il criterio di appartenenza ad un stessa classe e’ applicata la coppia campione-classe (X,Y*), ma non la struttura

9. Metodo di aggiornamento sequenziale dei pesi Insieme d’ addestramento: (xk,y*k), k=1-Q, Vettore uscita desiderato y*k= (y*km, m=1-M) Vettore uscita yk= (ykm, m=1-M)prodotto da xk=(xki,i=1-N) Funzione errore: E(W)= 1/2Sm (y*km-ykm)2 = 1/2Sm (ekm)2 Formula d’ aggiornamento: Dwji=- h.dE/dwji= -h djyi = hs’(sj).ejyi dove ej= Smwmjdm edm= - s’(sm).em Formule d’ aggiornamento (per ogni coppia xk,y*k, si e’ omesso l’apice k) strato d’ uscita O: ym= s(sm) em=y*m-ym dm= ems’(sm) Dwjm= h dm yj strato nascosto H2: ej=Smdmwjm dj= ejs’(sj) Dwkj = h dj yk strato nascosto H1:ek=Sjdjwkj dk= eks’(sk) Dwik = h dk xi

10. Addestramento globale dei pesi sinaptici Insieme d’ addestramento: (xk,y*k), k=1-Q, Vettore uscita desiderato y*k= (y*km, m=1-M) Vettore uscita prodotto da xk=(xki,i=1-N) yk= (ykm, m=1-M) Funzione errore globale: Eg(Wj)= 1/2SkSm (y*km-ykm)2 = 1/2 Sk Sm (ekm)2 Retropropagazione dell’ errore (per ogni coppia xk,y*k, si e’ omesso l’apice k) strato d’ uscita O: ym= s(sm) em=y*m-ym dm= ems’(sm) strato nascosto H2: ej=Smdmwjm dj= ejs’(sj) strato nascosto H1:ek=Sjdjwkj dk= eks’(sk) Formula per l’ aggiornamento globale: Dwji= - h.dEg/dwji= h Sk dkjyki = h Sk s’(skj).ekj dove ekj= Shj. whjdkh edkj= - s’(skj).ekj

11. Note a) metodo dei momenti: Dwij(n)= aDwij(n-1) +hdi (n)x j(n) con a<1 b) suddivisione suggerita per l’ insieme di addestramento+validazione 1. Sessione 2. Sessione 3. Sessione 4. Sessione add. val. 3) normalizzazione: traslazione al valor medio: decorrelazione e equalizzazione della covarianza (trasformazione con autovalori) 4) inizializzazione: pesi casuali e piccoli (funzionamento al limite della zona lineare), h =.1, a~.9

12. Inferenza statistica delle RNA y*1 (x) = dl(x)= 0 y*m(x) = dm(x)= 0 y*k(x) = dk(x)= 1 y*M(x) = dM(x)= 0 y1(x) ym(x) yk(x) yM(x) x, ck RNA ck =(dl(x)….dk(x)….. dM(x)) E2= SX P(x)(Sk P(ck /x)Sm [ym(x)-y*m(x)] 2}) E2= SX P(x)(Sm {Sk P(ck /x)[ym(x)- dm(x)k]2})

13. E2 = SX P(x)(Sm {Sk [ym(x)- dm(x)] 2 P(ck /x) }) Ma Sk[ym(x)- dm(x)]2 P(ck/x)= ym2(x)-2ym(x) P(cm/x) + P(cm/x)= poiche’ dm(x)=1 solo per k = m e SkP(ck/x)=1, aggiungendo e togliendo P2(cm/x) si ha: [ym2(x)-2ym(x) P(cm/x) + P2(cm/x)] + [P(cm/x) - P2(cm/x)] = = [ym(x)-P(cm/x)]2 + P(cm/x) [1- P(cm/x)] dove solo il primo addendo dipende dalla rete per cui addestrandola correttamente si ottiene il minimo di E2: ym(x)=P(cm/x)

14. yA yA* 1 3 2 x2 x1 1 x2 X + A yA*=fA*(s) = 0.5 A* x1 + yA=fA(s) = 0.5

15. x2 x1 y c + c A a b b a x2 x1 1

16. MPL per EXOR x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0 x2 1 0 1 x1 y=1 y=0 y=0 y=1 y 1 x1x2 1

17. yA yA* z u(z-T) u(-z-T) 1 3 2 x2 x1 x2 1 X I A z=f(s) =T z=f(s) =-T A* x1 z=f(s) = 0.5

18. MLP per riconoscimento di due classi con pdf gaussiane equiprobabili (HAYKIN Cap.4.8) x2 rA A zona di decisione ottima Bayesiana XA mB x1 mA X X X sA sB discriminante MLP yA yB Parametri di addestramento: h=0.1, a=0.5 x1 1 x2 MLP: Pe = 0.196 Bayesiana: Pe = 0.185

19. 1 3 1 8 x1(n) X(n) x16(n)

20. RNA con apprendimento non supervisionato • Numero di classi (cluster) predefinito • b) Criterio di verosimiglianza predefinito • (il numero di cluster dipende dalla distribuzione statistica dei campioni) • origine del modello: disposizione e interazione eccitatoria/inibitoria • dei neuroni della corteccia cerebrale; • metodo di apprendimento; • metodo di riconoscimento (tassellazione di Voronoi); • - estensione a reti con apprendimento supervisionato.

21. 1 j N Von der Malsburg 1 i N y1 yM yj 1 j M Kohonen Wj WM W1 X

22. yi 1 j M wji 1 i N xi j = argmin[d(x,wh); h=1M] yj=1; yh=0 per h  j) Caratteristiche - riduzione della dimensionalita’ (neuroni su reticolo) -competizione (per l’ attivazione del nodo d’ uscita) -cooperazione (per l’ apprendimento) -adattamento sinaptico: eccitazione/inibizione Fig.10 Mappa autorganizzata (SOM) ed attivazione del nodo d’ uscita

23. i spazio discreto delle uscite j x2 • wi x spazio continuo dei campioni x1 wj

24. Si puo’ realizzare una strutturazione globale mediante interazioni locali (Turing, 1952) La strutturazione e’ realizzata da interazioni prodotte da attivita’ ed interconneaaioni neuronali Principio 1. Le interconnessioni tendono ad essere eccitatorie Principio 2. La limitazione delle ‘risorse’ permette l’aumento di determinate attivita’ a scapito di altre Principio 3. Le modifiche dei pesi sinaptici tendono ad essere cooperative Principio 4. Un sistema autorganizzato deve essere ridondante

25. Competizione neurone vincente: j = argmin[||x-wh||) ; h=1M] oppure: j = argmax[xTwh ; h=1M] distanza (Manhattan)reticolare, o laterale, dei nodi i e j:d(j,i)2 funzione di vicinato: hi(j) = exp[- d(i,j)2 /2s2] Cooperazione I neuroni i del vicinato di j sono eccitati e e cooperano all’: Adattamento sinaptico Dwi= h hi(j)(x-wi) h e s diminuiscono con le sessioni di apprendimento Fase di autorganizzazione: h=0.1-0.01, d(i,j) decrescente da massima fase di convergenza statistica: h=0.01, 1  d(i,j)  0

26. Aggiornamento pesi della SOM W=(w1,w2,...,wM) vettore prototipo Ej(W)= 1/2Si hi(j) (x- wi)2 con i=1M e hi(j) funzione di vicinato di j DEj(W)= grad(Ej(W)).DW= Si (dE(W)/dwi).Dwi D wi = -hdEj(W)/dwi = h hi(j) (x- wi).

27. Addestramento delle SOM supervisionate Learning Vector Quantizer (LVQ) dati di addestramento: (X, C) a) apprendimento della SOM (solo X) b) addestramento (con X,C) b2) addestramento dello strato d’ uscita (con o senza competizione nello strato nascosto) b1) etichettatura b3) etichettatura e addestramento dello strato nascosto (con competizione) DWc= +/-a (X-Wc) se X appartiene o no a C

28. Reti Neuronali Adattative Teoria della risonanza adattativa (Adaptive Resonance Theory, ART) Meccanismo psicofisiologico: 1) Attenzione selettiva: ricerca di una situazione nel dominio di conoscenza 2) Risonanza: se l’ attenzione selettiva rileva una situazione nota 3) Orientamento: ricerca o creazione di una nuova situazione Vantaggi: compatibilita’ fra plasticita’ e stabilita’ Svantaggi: complessita’ della struttura e dell’ algoritmo di apprendimento

29. Apprendimento: Attivazione dello strato di riconoscimento (feedforward) Competizione (attenzione selettiva) Retroproiezione allo strato di confronto (verifica della risonanza) Creazione di un nuovo neurone di riconoscimento 1 j P P+1 strato di riconoscimento Zj Wj 1 i N strato di confronto x1 xi xN X

30. 1 j P P+1 strato di riconoscimento wji zij 1 i N strato di confronto x1 xi xN j=argmax [XTWh,h=1,P] Attenzione selettiva XTZj >r risonanza: adattamento pesi Wj e Zj XTZj<r orientamento: XTZh con h > < j se XTZh >r risonanza: adattamento pesi Wh e Zh se XTZh <r per h=1,P si crea un nuovo nodo P+1

31. x2 WP+1= X o W1 o Wj R o o X Raggio di attenzione selettiva WP x1 o Fig. 15 Criterio di appartenenza ad un prototipo (Raggiodi convergenza, raggio di attenzione selettiva)

32. rete di controllo della risonaza e dell’ orientamento x,y’ wij=1 strato delle classi 1 h M strato nascosto competitivo 1 j P P+1 wji 1 i N strato d’ ingresso Fig.16 SOFM supervisionata adattativa

33. wj X wj X o o o o Rj Rj att. selett. insuff. j><c DRj = g(d(Wj,X)-Rj) DWj= h(Wj -X) risonanza j=c DWj= h(X-Wj) X wj o j wP Rj o RP WP+1= X o o RP+1 orientamento j >< c WP+1 = X; P+1 Î c; RP+1=1/2d(X,WP) att. selett. eccess. j=c DRj = g(d(Wj,X)-Rj) DWj= h(X-Wj)