1 / 17

Modelli simulativi per le Scienze Cognitive

Modelli simulativi per le Scienze Cognitive. Paolo Bouquet (Università di Trento) Marco Casarotti (Università di Padova). La regola del percettrone.

kipp
Download Presentation

Modelli simulativi per le Scienze Cognitive

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Modelli simulativiper le Scienze Cognitive Paolo Bouquet (Università di Trento) Marco Casarotti (Università di Padova)

  2. La regola del percettrone Usata per reti feedforward con un unico strato di pesi sinaptici. Le unità di input e output possono utilizzano valori bipolari (-1, 1). Gli esempi di’addestramento sono costituiti da un vettore d’ingresso x e da una risposta desiderata t (target o teaching input). L’output della rete per un certo vettore d’ingresso è calcolato con: Questo valore viene confrontato con la risposta desiderata t. Se t e y differiscono (errore), i pesi sinaptici vengono modificati in base alla risposta corretta:

  3. La regola delta • Simile alla regola del percettrone, ma applicabile a reti feedforward con un singolo strato di pesi e unità di output con attivazione continua e differenziabile: • Descriviamo la prestazione della rete con una funzione di errore o funzione di costo, che si basa sullo scarto quadratico medio tra risposta desiderata t ed output effettivo y: • la funzione di costo E dipende unicamente dal valore delle connessioni sinaptiche W.

  4. L’apprendimento consiste nel minimizzare la funzione di costo E, modificando i pesi nella direzione opposta al gradiente della funzione stessa (discesa del gradiente): • Risolvendo l’equazione, otteniamo che il cambiamento dei pesi è dato dalla differenza tra target e output moltiplicata per l’attività presinaptica. La regola delta è plausibile dal punto di vista psico-biologico e corrisponde formalmente alla regola di Rescorla-Wagner del condizionamento classico.

  5. La backpropagation • Deriva dalla regola delta, permette di calcolare l’errore di unità nascoste, attraverso la propagazione all’indietro dell’errore (da cui il nome dell’algoritmo) usando i pesi sinaptici che servono per la propagazione dell’attivazione. • La propagazione all’indietro dell’errore rende l’algoritmo implausibile dal punto di vista biologico. • Reti feedforward multistrato (con unità nascoste) possono risolvere un ampio insieme di trasformazioni NON lineari (es. XOR): algoritmo molto potente dal punto di vista computazionale.

  6. Problema fondamentale Output Come calcolare l’errore? Unità nascoste Input esterno

  7. 1. Presentazione pattern d’ingresso Unità di output Unità nascoste Unità di input

  8. 2. Propagazione in avanti dell’attivazione Unità di output Unità nascoste Unità di input

  9. 2. Propagazione in avanti dell’attivazione Unità di output Unità nascoste Unità di input

  10. 2. Propagazione in avanti dell’attivazione Unità di output Unità nascoste Unità di input

  11. 2. Propagazione in avanti dell’attivazione Unità di output Unità nascoste Unità di input

  12. 3. Calcolo dell’errore delle unità di output Unità di output Unità nascoste Unità di input

  13. 4. Propagazione all’indietro dell’errore Unità di output Unità nascoste Unità di input

  14. 4. Propagazione all’indietro dell’errore Unità di output Unità nascoste Unità di input

  15. 5. Modifica dei pesi sinaptici Unità di output Unità nascoste Unità di input

  16. 5. Modifica dei pesi sinaptici Unità di output Unità nascoste Unità di input

  17. Pro • efficienza computazionale • permette di addestrare reti con un qualsiasi numero di strati nascosti • Contro • problema dei minimi locali • discesa del gradiente lenta • Sviluppi • numerose varianti introdotte per velocizzare la discesa del gradiente. La resilient backpropagation (Riedmiller & Braun, 1992), per esempio, utilizza solo il segno della derivata e non il valore. • backpropagationthroughtime (BPTT): permette di addestrare reti ricorrenti. L’algoritmo consente di apprendere serie temporali, estraendo come i dati cambiano nel tempo.

More Related