Reti di Kohonen

1. Reti di Kohonen

2. Attività cerebrale • I neuroni si attivano in gruppi sotto l’azione di uno stimolo • Attività in gruppi ben delimitati con alta o bassa attività • Il gruppo di attività è chiamato “bolla” • La bolla persiste a lungo e si restringe lentamente

3. Attività neuronale In assenza di altri neuroni, l’attività del neurone j-esimo è: Ove: - attività del neurone j-esimo - componente i-esima dello stimolo con “n” ingressi - peso della connessione tra neurone j-esimo e ingresso i-esimo - perdite nel trasferimento delle informazioni

4. Equazione attività L’andamento della sinapsi, in base alla distanza dal neurone, è: L’equazione dell’attività del neurone j-esimo diventa con wki = sinapsi connessione tra neurone “i” e “k”

5. Trasferimento informazioni L’evoluzione temprale della sinapsi è espressa da Con α che controlla la velocità di apprendimento e β come fattore di dimenticanza Dipende, quindi, dall’attività dei neuroni della connessione L’attività varia in base alla posizione del neurone, dentro o fuori dalla bolla

6. Neurone “entro” • Attività massima, normalizzabile a 1 • Normalizzazione di α e β per avere La sinapsi cerca di uguagliare l’ingresso relativo

7. Neurone “fuori” Attività trascurabile, ηj = 0 Le sinapsi non vengono modificate

8. Reti di Kohonen • Modello costruito nel 1983 • Rete auto-organizzante • Replica il processo di formazione delle mappe cerebrali • L’apprendimento si basa sulla competizione tra neuroni

9. Architettura Griglia rettangolare di unità collegate a tutti gli ingressi

10. Unità lineare x1 wj1 x2 wj2 j xi wji xn-1 wj(n-1) xn wjn wji è il peso della connessione tra il neurone “j” e l’ingresso “i”

11. Neurone con uscita massima Necessaria la normalizzazione Senza la normalizzazione W1 anche se W2 X

12. Distanza vettore-ingresso Viene scelto il neurone il cui vettore dei pesi è più vicino all’ingresso Non è necessaria la normalizzazione Si può usare la distanza Euclidea W1 W2 X

13. Legge di apprendimento La legge di apprendimento per l’aggiornamento delle sinapsi del neurone vincente risulta: Vjo indica il vicinato del neurone vincente all’iterazione k Dalla legge precedente, in notazione vettoriale:

14. Apprendimento cosciente Adattamento alla distanza tra il neurone j-esimo ed il neurone vincitore

15. Scelte e variazioni • Il vicinato va scelto in modo da imitare la biologia del cervello • La scelta del vicinato deve variare in modo da includere tutti i neuroni • Alla fine si dovrà avere il solo neurone vincente

16. Variazioni ed iterazioni • Anche il fattore R varia • Costante per un certo numero di iterazioni, poi decresce • Il numero delle iterazioni dell’algoritmo dipende dal numero M di neuroni • Solitamente (500÷5000)M

17. Rmax Rmin t Riduzione di R e A Amax Amin t

18. Algoritmo • Inizializzazione casuale dei pesi • Inizializzazione parametri α=Amax e r=Rmax • Fino a che α>Amin • Per ogni ingresso, • Riduzione di “α” e “r” • Calcolo dell’uscita • Determinazione del neurone vincente • Aggiornamento pesi del vicinato

19. Applicazioni • Classificazione • Es. odorato, fonemi • Clustering • Raggruppamento dati in sottoinsiemi di dimensione limitata • Compressione • Es. immagini