BIOINGEGNERIA S. Salinari Lezione 5

1. BIOINGEGNERIA S. Salinari Lezione 5

2. x1 w11 y1 w11 z1 x2 w12 w21 v2 w12 w21 w22 y2 w22 z2 x3 w31 v3 w31 w32 w32 L’algoritmo di retropropagazione • Premesse • Reti Duali • Si definiscono reti duali reti per cui è verificata la seguente relazione: • y = W x v = WTz v1

3. 1 y F(y) 1 q L’algoritmo di retropropagazione 2. La Funzione di Attivazione Le funzioni di attivazioneutilizzate nella LMS e nel percettrone sono rispettivamente la funzione lineare ( y = Si wixi) e la funzione di Heaviside (y=0 per x<q, y=1per x ≥q). Nelle reti neurali vengono spesso utilizzate funzioni di attivazione semilineari che posseggono la caratteristica di risultare derivabili, quali la funzione logistica o sigmoide, che ha equazione: F(y) y Caratteristica di tale funzione è che:

4. x1 w11 u1 y1 x2 w12 u4 w21 u2 u6 z=Si wji oki w22 f(z) x3 w31 u5 y2 w32 u3 Strato d’ingresso Strato nascosto L’algoritmo di retropropagazione Si consideri una rete costituita da M unità ( u1,u2,..., uj, ...,uM ) distribuite fra unità di ingresso, di uscita e nascoste. Si indichi con okj lo stato dell’unità uj in corrispondenza all’applicazione alla rete del k-esimo elemento della sequenza d’ingresso. Di conseguenza per una unità di ingresso okj  xkj, per una unità di uscita okj  ykj. L’ algoritmo di retro propagazione serve per il calcolo dei pesi di una rete feedforward con strati nascosti e funzioni di attivazione semilineari. Si basa sull’assunzione che la variazione dei pesi dei rami della rete debba essere tale da produrre una diminuzione dell’errore quadratico medio totale: uj Dove l’indice ksi riferisce alla k-esima coppia in-out della sequenza di apprendimento e l’indicej alla j-esima unità della rete. Si considerino i due casi:

5. dkt ui uj ut wji wtj Se la f(zkj ) è la funzione logistica si avrà: dkj L’algoritmo di retropropagazione uj: Unità di uscita uj: Unità nascosta

6. L’algoritmo di retropropagazione • Passi dell’algoritmo • Si applica l’ingresso xk= (x1 x2 ...xN)T • Si calcolano tutte le okj = f(Siwji oki) per tutte le unità di uscita e nascoste • Si calcolano le dkj per le unità di uscita dkj = (tkj – okj)f’(zkj) • Si calcolano ledkjper le unità nascoste dkj = Stdktwtjf’(zkj) • Si aggiornano i pesi.

7. -1 -1 q1 q2 wo1 x2 wn1 y1 y0 wn2 n o wo2 x1 L’algoritmo di retropropagazione Esempio : EXOR y1 = wn1 x1+wn2 x2-q1 yo = wo1 x1+wo2 x2+won y1-q2 do = (to-yo)yo(1-yo)  Dwo1=mdox1, Dwo2=mdox2, Dwon=mdoy1, Dq2=mdo dn = do won y1(1-y1)  Dwn1=mdnx1, Dwn2=mdnx2, Dq1=mdn