1 / 56

Vincenzo Izzo

Realizzazione e caratterizzazione di una semplice rete neurale per la separazione di due campioni di eventi. Vincenzo Izzo. Vincenzo Izzo. Sommario. Le reti neurali L’algoritmo di apprendimento I risultati. 1. Vincenzo Izzo. Reti neurali biologiche.

maya
Download Presentation

Vincenzo Izzo

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Realizzazione e caratterizzazione di una semplice rete neurale per la separazione di due campioni di eventi • Vincenzo Izzo

  2. Vincenzo Izzo Sommario • Le reti neurali • L’algoritmo di apprendimento • I risultati

  3. 1 Vincenzo Izzo Reti neurali biologiche • corpo cellulare o “soma”, dal quale partono collegamenti (dendriti) verso altri neuroni: compito dei dendriti è ricevere i segnali dagli altri neuroni collegati • il soma ha un collegamento di uscita, o assone, con il quale il neurone trasmette i suoi dati verso i dendriti di altri neuroni

  4. 2 Vincenzo Izzo Reti neurali artificiali • Composta da un certo numero di neuroni collegati tra loro da collegamenti “pesati” • Accetta dati sulle unità in ingresso (input) e presenta i corrispondenti dati sulle unità di uscita; può avere unità nascoste (hidden) che contribuiscono a codificare i legami tra le variabili di input e quelle di output • Ogni neurone riceve una combinazione lineare delle uscite dei neuroni dello strato precedente e tali connessioni sono pesate dai pesi sinaptici wi

  5. 3 Vincenzo Izzo L’apprendimento (1) • La funzione di trasferimento input-output della rete viene ottenuta attraverso un processo di addestramento (training) con dati proposti alla rete • Si inizializza la rete scegliendo i pesi in modo casuale; • Si fornisce un campione di training composto da coppie Input/output atteso; • Si calcola il risultato in output della rete e lo si confronta con l’output atteso; • Si modificano i pesi dei collegamenti tra i neuroni in funzione dello scarto tra output e output atteso. • La correzione dei pesi avviene secondo una semplice somma wi = wi + ∆wi

  6. N0 T E = 1 ∑∑ (Yi(t) - Outi(t) )2 N0 i=1 t=1 4 Vincenzo Izzo L’apprendimento (2) • Definiamo l’errore commesso dalla rete • N0 = neuroni in uscita, T = eventi del campione di training, • Outi = valori in uscita della rete, Yi = valori attesi • La correzione sui pesi è

  7. 5 Vincenzo Izzo L’apprendimento (3) • Per un solo perceptrone la correzione vale ∆wi = η(t-y)xi, • Per una rete a tre livelli, tra layer d’ingresso e nascosto • Dove xi sono gli input, i = Outi(t) (Yi - Outi )(1 - Outi(t) ) e wil sono i pesi tra layer di input e layer nascosto; tra layer nascosto e layer di uscita è • Dove gli hk indicano l’output del k-esimo neurone del layer nascosto

  8. 6 Vincenzo Izzo I problemi nell’apprendimento • Si inizializza la rete scegliendo i pesi in modo casuale • Si può risolvere scegliendo diverse velocità di apprendimento

  9. Insieme S x1 σ1 x2 σ2 x3 σ3 x4 σ4 0 1 1 1 1 1 1 1 Insieme N x1 σ1 x2 σ2 x3 σ3 x4 σ4 4 1 4 1 4 1 4 1 7 Vincenzo Izzo La programmazione • La generazione dei dati gaussiani • Se un dato appartiene all’insieme S, l’uscita del neurone dovrà essere 1, se appartiene all’insieme N l’uscita sarà 0 • i dati sono mescolati alternando una quadrupla dell’insieme S ed una quadrupla dell’insieme N • i dati sono mescolati in modalità casuale basata sullo stesso algoritmo di generazione di numeri casuali

  10. N0 T E = 1 ∑∑ (Yi(t) - Outi(t) )2 N0 i=1 t=1 8 Vincenzo Izzo I risultati • Errore commesso dal neurone, per il campione di training e quello di controllo • Risposta in uscita, per il campione di training e quello di controllo • Efficienza e contaminazione per gli insiemi S e N del neurone, per il campione di training e quello di controllo

  11. 9 Vincenzo Izzo I risultati – 100 eventi • Errore del neurone su 100 eventi: training (a sin.) e controllo

  12. 10 Vincenzo Izzo I risultati – 100 eventi • Uscita del neurone per l’insieme S: training (a sin.) e controllo

  13. 11 Vincenzo Izzo I risultati – 100 eventi • Uscita del neurone per l’insieme N: training (a sin.) e controllo

  14. 12 Vincenzo Izzo I risultati – 100 eventi • Efficienza del neurone sul campione S in funzione del taglio: training (a sin.) e controllo

  15. 13 Vincenzo Izzo I risultati – 100 eventi • Efficienza del neurone sul campione N in funzione del taglio: training (a sin.) e controllo

  16. 14 Vincenzo Izzo I risultati – 100 eventi • Contaminazione del campione S in funzione del taglio: training (a sin.) e controllo

  17. 15 Vincenzo Izzo I risultati – 100 eventi • Contaminazione del campione N in funzione del taglio: training (a sin.) e controllo

  18. 16 Vincenzo Izzo I risultati – dipendenza da n. eventi • Errore del neurone per 50, 100, 200 eventi – campione di training

  19. 17 Vincenzo Izzo I risultati – dipendenza da n. eventi • Errore del neurone per 50, 100, 200 eventi – campione di controllo

  20. 18 Vincenzo Izzo I risultati – dipendenza da n. eventi • Output per l’insieme N per 50, 100, 200 eventi – campione di training

  21. 19 Vincenzo Izzo I risultati – dipendenza da n. eventi • Output per l’insieme N per 50, 100, 200 eventi – campione di controllo

  22. 20 Vincenzo Izzo I risultati – dipendenza da n. eventi • Output per l’insieme S per 50, 100, 200 eventi – campione di training

  23. 21 Vincenzo Izzo I risultati – dipendenza da n. eventi • Output per l’insieme S per 50, 100, 200 eventi – campione di controllo

  24. 22 Vincenzo Izzo I risultati – dipendenza da n. eventi • Efficienza per l’insieme N per 50, 100, 200 eventi – campione di training

  25. 23 Vincenzo Izzo I risultati – dipendenza da n. eventi • Efficienza per l’insieme N per 50, 100, 200 eventi – campione di controllo

  26. 24 Vincenzo Izzo I risultati – dipendenza da n. eventi • Efficienza per l’insieme S per 50, 100, 200 eventi – campione di training

  27. 25 Vincenzo Izzo I risultati – dipendenza da n. eventi • Efficienza per l’insieme S per 50, 100, 200 eventi – campione di controllo

  28. 26 Vincenzo Izzo I risultati – dipendenza da n. eventi • Contaminazione per l’insieme N per 50, 100, 200 eventi – campione di training

  29. 27 Vincenzo Izzo I risultati – dipendenza da n. eventi • Contaminazione per l’insieme N per 50, 100, 200 eventi – campione di controllo

  30. 28 Vincenzo Izzo I risultati – dipendenza da n. eventi • Contaminazione per l’insieme S per 50, 100, 200 eventi – campione di training

  31. 29 Vincenzo Izzo I risultati – dipendenza da n. eventi • Contaminazione per l’insieme S per 50, 100, 200 eventi – campione di controllo

  32. 30 Vincenzo Izzo I risultati – dipendenza da n. eventi • Andamento dei pesi in funzione delle epoche, per 50, 100, 200 eventi nel campione

  33. 31 Vincenzo Izzo I risultati – dip. dal parametro  • Andamento dell’errore in funzione delle epoche, per α=0.5, 2, 10 - Training

  34. 32 Vincenzo Izzo I risultati – dip. dal parametro  • Andamento dell’errore in funzione delle epoche, per α=0.5, 2, 10 - Controllo

  35. 33 Vincenzo Izzo I risultati – dip. dal parametro  • Efficienza per il campione N, per α=0.5, 2, 10 - Training

  36. 34 Vincenzo Izzo I risultati – dip. dal parametro  • Efficienza per il campione N, per α=0.5, 2, 10 - Controllo

  37. 35 Vincenzo Izzo I risultati – dip. dal parametro  • Efficienza per il campione S, per α=0.5, 2, 10 - Training

  38. 36 Vincenzo Izzo I risultati – dip. dal parametro  • Efficienza per il campione S, per α=0.5, 2, 10 - Controllo

  39. 37 Vincenzo Izzo I risultati – dip. dal parametro  • Andamento dei pesi in funzione delle epoche, per α=0.5, 2, 10

  40. 38 Vincenzo Izzo I risultati – dip. dal mixing dei dati • Andamento dell’errore in funzione delle epoche, modalità alternata (a sin.) e pseudorandom - Training

  41. 39 Vincenzo Izzo I risultati – dip. dal mixing dei dati • Andamento dell’errore in funzione delle epoche, modalità alternata (a sin.) e pseudorandom - Controllo

  42. 40 Vincenzo Izzo I risultati – dip. dal mixing dei dati • Efficienza per il campione N, modalità alternata (a sin.) e pseudorandom – Training

  43. 41 Vincenzo Izzo I risultati – dip. dal mixing dei dati • Efficienza per il campione N, modalità alternata (a sin.) e pseudorandom – Controllo

  44. 42 Vincenzo Izzo I risultati – dip. dal mixing dei dati • Efficienza per il campione S, modalità alternata (a sin.) e pseudorandom – Training

  45. 43 Vincenzo Izzo I risultati – dip. dal mixing dei dati • Efficienza per il campione S, modalità alternata (a sin.) e pseudorandom – Controllo

  46. 44 Vincenzo Izzo I risultati – dip. dal mixing dei dati • Andamento dei pesi in funzione delle epoche, modalità alternata (a sin.) e pseudorandom

  47. Insieme S Insieme S x1 x1 σ1 σ1 x2 x2 σ2 σ2 x3 x3 σ3 σ3 x4 x4 σ4 σ4 2 0 1 1 1 2 1 1 1 2 1 1 2 1 1 1 Insieme N Insieme N x1 x1 σ1 σ1 x2 x2 σ2 σ2 x3 x3 σ3 σ3 x4 x4 σ4 σ4 4 4 1 1 4 4 1 1 4 4 1 1 4 4 1 1 45 Vincenzo Izzo I risultati – dip. dalla sovrapposizione dei dati

  48. 46 Vincenzo Izzo I risultati – dip. dalla sovrapposizione dei dati • Andamento dell’errore in funzione delle epoche, per i dati della tabella 1 (a sin.) e tabella 2 - Training

  49. 47 Vincenzo Izzo I risultati – dip. dalla sovrapposizione dei dati • Andamento dell’errore in funzione delle epoche, per i dati della tabella 1 (a sin.) e tabella 2 - Controllo

  50. 48 Vincenzo Izzo I risultati – dip. dalla sovrapposizione dei dati • Efficienza per il campione N, per i dati della tabella 1 (a sin.) e tabella 2 – Training

More Related