290 likes | 696 Views
RETI NEURALI - 2. TIPI DI APPRENDIMENTO. Esistono due tipi di apprendimento: Supervisionato Non supervisionato L’apprendimento supervisionato fa uso di una serie di esempi di cui si conosce l’output L’apprendimento non supervisionato classifica l’input mediante autoorganizzazione.
E N D
TIPI DI APPRENDIMENTO • Esistono due tipi di apprendimento: • Supervisionato • Non supervisionato • L’apprendimento supervisionato fa uso di una serie di esempi di cui si conosce l’output • L’apprendimento non supervisionato classifica l’input mediante autoorganizzazione
APPRENDIMENTO SUPERVISIONATO • Algoritmo: • N esempi ciascuno composto da k input • J output • Ogni ciclo viene chiamato epoca di apprendimento • Durante l’addestramento la rete impara la relazione fra input ed output
APPRENDIMENTO SUPERVISIONATO • Algoritmo:
APPRENDIMENTO SUPERVISIONATO • Regola Delta generalizzata: Errore = ( Dj – Oj) 2 • Dwij = - e(d err / dwij) • Vogliamo minimizzare l’errore • Facciamo piccoli spostamenti di segno opposto alla derivata della funzione errore
APPRENDIMENTO SUPERVISIONATO • In questo modo ci spostiamo sempre nella direzione opposta a quella in cui l’errore cresce: se l’errore E cresce all’aumentare di wji i pesi vengono diminuiti, mentre se E diminuisce al crescere di wji i pesi vengono aumentati. • Ad ogni ciclo ci avviciniamo al minimo dell’errore • Quando l’errore è minore di e la rete si ferma.
APPRENDIMENTO SUPERVISIONATO • Questo è il cosiddetto metodo del gradiente decrescente • E’ la base dell’algoritmo di apprendimento backpropagation (retropropagazione dell’errore) • Nelle reti a più strati non si può applicare direttamente perché mentre conosciamo l’errore sullo strato di output non conosciamo l’errore sullo strato hidden • L’algoritmo arriva alla soluzione mediante manipolazioni matematiche
APPRENDIMENTO SUPERVISIONATO • Quando la rete ha appreso si congelano i pesi e si utilizza la rete in testing, ossia per risolvere problemi nuovi • Quanto migliore è la scelta del training set, tanto più facile per la rete è generalizzare • Le reti backpropagation sono le più potenti e versatili attualmente implementate
APPRENDIMENTO SUPERVISIONATO • TEOREMA DI HECHT-NIELSEN-KOLMOGOROV: Data una qualsiasi funzione f:{0,1}n --> Rm, f(x) = y, f puo’ essere implementata esattamente da una rete neurale feedforward a tre strati con n elementi nel primo strato, 2n+1 elementi nello strato nascosto, ed m elementi nello strato di output.
APPRENDIMENTO NON SUPERVISIONATO • La SOM e’ stata sviluppata negli anni 80 da T. Kohonen sulla base di precedenti studi di neurofisiologia. • Consiste in uno strato di N elementi, detto strato competititvo. • Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij.
APPRENDIMENTO NON SUPERVISIONATO • La SOM e’ stata sviluppata negli anni 80 da T. Kohonen sulla base di precedenti studi di neurofisiologia. • Consiste in uno strato di N elementi, detto strato competititvo. • Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij.
APPRENDIMENTO NON SUPERVISIONATO Per stimare l’intensita’ Ii dell’input : Ii = D(wi,x) wi=(wi1,…,win)T x i =(x1,...,xn)T D(u,x) e’ una qualche funzione distanza, ad es. quella euclidea.
APPRENDIMENTO NON SUPERVISIONATO • A questo punto viene messa in atto una competizione per valutare quale elemento ha la minore intensita' di input (ossia quale wi e’ il piu’ vicino ad x). • La SOM prevede a questo punto un meccanismo cosiddetto di inibizione laterale, che e' presente anche in natura sotto forma di trasformazioni chimiche a livello sinaptico.
APPRENDIMENTO NON SUPERVISIONATO • Nella regione corticale del cervello, neuroni fisicamente vicini mostrano legami piu' forti, mentre ad una certa distanza iniziano a mostrare legami inibitori. • Ciascun elemento riceve sia stimoli eccitatori da parte degli elementi adiacenti (neighborhood), sia stimoli inibitori da parte degli elementi piu' lontani, secondo la forma "a cappello messicano".
APPRENDIMENTO NON SUPERVISIONATO • L'esistenza della neighborhood e' utile per non polarizzare la rete su pochi neuroni vincenti. • A questo punto ha luogo la fase di apprendimento, secondo la cosiddetta "winner Take All Law" (WTA). • I dati di training consistono in una sequenza di vettori di input x .
APPRENDIMENTO NON SUPERVISIONATO • Lo strato di Kohonen decide poi il neurone vincitore sull abase della distanza minima. • Ora i pesi vengono modificati secondo la legge winew = wiold + a(x - wiold)zi 0<a<1 e decresce lentamente nel tempo con una legge del tipo a(t) = a [1 - t/d] dove d e' un'opportuna costante.
APPRENDIMENTO NON SUPERVISIONATO • Essendo zi <> 0 solo per il neurone vincitore, i pesi dei neuroni vincenti ruotano sempre piu' verso gli stimoli vettorialmente piu' vicini, fino a sovrapporsi idealmente con essi. • La SOM effettua cosi' una quantizzazione vettoriale, ossia una mappatura da uno spazio a molte dimensioni in uno spazio con numero minore di dimensioni, conservando la topologia di partenza.
APPRENDIMENTO NON SUPERVISIONATO • La SOM classifica bene pattern topologicamente ben distribuiti, ma si trova in maggiore difficolta' nel caso di ditribuzioni non lineari. • E’ evidente l'importanza della configurazione iniziale dei pesi, che deve essere il piu' possibile simile alla topologia di input.