Modelli simulativi per le Scienze Cognitive

1. Modelli simulativiper le Scienze Cognitive Paolo Bouquet (Università di Trento) Marco Casarotti (Università di Padova)

2. Caratteristiche 1. Topologia 2. Connettività • Classi di reti • etero- vs. auto-associative • singolo strato vs. multistrato • feed-forward vs. ricorrenti

3. Reti etero- vs. auto-associative • Etero-associative • Le unità di input sono DISTINTE dalle unità di output • Compito: associare coppie di vettori DIVERSI (input ed output) • Auto-associative • Possiedono un unico strato di unità interamente connesse tra loro: ciascuna unità riceve input dall’ambiente esterno e dalle altre unità • Dinamica temporale: l’attivazione della rete varia nel tempo (rilassamento) e la risposta viene misurata quando la differenza d’attivazione tra il tempo t ed il tempo t-1 è sufficientemente piccola (equilibrio) • Vengono utilizzate per la memorizzazione e ricostruzione di pattern

4. Reti a singolo strato vs. multistrato • A singolo strato di sinapsi • Percettroni: reti etero-associative senza unità nascoste, pertanto con un solo strato di pesi. • Un singolo strato di pesi NON consente di apprendere l’associazione tra pattern di ingresso e pattern d’uscita quando il mapping sottostante è troppo complesso. • Reti multistrato • MLP (Multi-Layer Perceptron): reti etero-associative con unità nascoste, pertanto con più di uno strato di pesi. • La risposta delle rete viene ottenuta calcolando l’attivazione di uno strato di unità alla volta

5. Reti feed-forward vs. ricorrenti • Reti feed-forward • Architetture in cui ciascun nodo riceve connessioni SOLO dai nodi degli strati inferiori • L’elaborazione dell’informazione procede in un’unica direzione • Non possiedono una dinamica temporale e non possono essere utilizzate per compiti che richiedono l’estrazione della struttura temporale presente nell’informazione d’ingresso • Reti ricorrenti • Architetture con connessioni ricorrenti: una connessione ricorrente permette la ricezione del segnale da neuroni dello stesso strato o di strati superiori • Se un nodo riceve connessioni da tutti nodi della rete si dice “completamente” connesso

6. Attivazione di un nodo che possiede connessioni ricorrenti: • dove sono le attivazioni dello stesso strato o di uno strato superiore al tempo t-1, ril sono le connessioni ricorrenti e c è una costante. • Le reti auto-associative sono, per definizione, reti ricorrenti Reti feed-forward vs. ricorrenti [2]

7. Codifica e rappresentazioni • I valori di attivazione dei nodi della rete dipendono dalla funzione d’attivazione utilizzata: • Codifica binaria: {0, 1} • Codifica bipolare: {-1, 1} • Valori continui: per esempio nell’intervallo [0, 1] o [-1, 1] • La scelta della funzione d’attivazione influenza le prestazioni e l’applicabilità del modello. Alcuni algoritmi d’apprendimento vincolano la scelta della funzione d’attivazione. • Codifica dell’informazione d’ingresso • Codifica locale: ciascuna unità d’ingresso corrisponde ad un determinato oggetto • Codifica distribuita: molte unità d’ingresso contribuiscono a rappresentare ogni singolo oggetto

8. Codifica locale • Ciascuna unità d’ingresso corrisponde ad un determinato oggetto. • Svantaggi: • richiede un alto numero di unità, uguale al numero di oggetti da rappresentare • non consente generalizzazioni, in quanto richiede la conoscenza anticipata del numero di oggetti • è fragile, in quanto la perdita di un’unità d’ingresso determina la perdita dell’oggetto corrispondente • non è biologicamente plausibile

9. Codifica distribuita • Molte unità d’ingresso contribuiscono a rappresentare ogni singolo oggetto. • Può essere utilizzata per codificare oggetti o caratteristiche di oggetti. In questo caso, le unità d’ingresso codificano la presenza o il grado di una certa caratteristica. Di conseguenza, ciascun oggetto è codificato attraverso l’attivazione di una o più unità e ciascuna unità può essere utilizzata per rappresentare oggetti diversi (codifica grezza). • Vantaggi: • Robustezza al rumore e resistenza alle lesioni • Possibilità di rappresentare nuovi oggetti senza aumentare il numero di unità d’ingresso • Facilita la classificazione e la generalizzazione

10. Campi recettivi Un esempio di codifica grezza è dato dai campi recettivi sovrapposti, come quelli presenti nella corteccia visiva primaria. Supponiamo di voler utilizzare una rete neurale per distinguere forme semplici presentate su una retina artificiale bidimensionale. Si divida la retina in gruppi di pixel di dimensioni uguali e parzialmente sovrapposti. Ciascuna di queste zone definisce il campo recettivo di un’unità d’ingresso la cui attivazione è una funzione dell’attivazione dei pixel presenti nel campo recettivo. È possibile dimostrare che l’accuratezza a con cui la rete è in grado di distinguere gli oggetti presentati sulla retina, dipende dal raggio r di ciascun campo recettivo e dal numero n di campi recettivi che coprono lo spazio visivo (Rumelhart, Hinton & Williams, 1986): a ≈ rn

11. Spazio della rappresentazione Dato uno strato di input con n unità che codificano attraverso valori continui una certa caratteristica, possiamo rappresentare un certo oggetto (pattern) come un punto nello spazio multi-dimensionale con tante dimensioni quante sono le unità di input: ciascuna dimensione corrisponde al campo di variazione dell’unità (caratteristica). Oggetti simili tenderanno ad occupare posizioni vicine nello spazio della rappresentazione. Normalizzazione Quando i dati in ingresso non sono omogenei, situazione tipica con dati reali prelevati con dispositivi di registrazione, è necessario ricorrere alla normalizzazione, che consiste nel far si che la lunghezza di ciascun vettore (pattern di ingresso) sia uguale a 1, dividendo ciascun componente del vettore per la sua “norma”:

12. La soglia ed il bias Output La soglia di attivazione λ di un’unità può essere considerata come un peso sinaptico di valore λ in arrivo da un’ unità aggiuntiva con attivazione costante -1. Il peso viene definito BIAS e l’unità aggiuntiva UNITA’ DI BIAS ed indicati rispettivamente con w0 e x0 w0 Unità di bias Input esterno

13. Valutazione e analisi di una rete neurale • Le prestazioni di una rete neurale vengono generalmente esaminate calcolando un indice dell’errore compiuto. Tale indice varia a seconda del paradigma d’apprendimento e, in generale, degli scopi della simulazione. • Vediamo alcuni degli strumenti di valutazione utilizzati nella modellistica neuro-computazionale e cognitiva: • Confronto tra la curva d’apprendimento della rete artificiale e la quella dei soggetti umani • Percentuale e tipo di errori compiuti • Differenza tra risposta desiderata e risposta della rete (rms) • Confronto tra il numero di cicli (reti ricorrenti) richiesti per raggiungere il criterio di risposta e i tempi di reazione dei soggetti umani • Analisi delle proprietà di risposta delle unità nascoste (reti multistrato)

14. Proprietà delle unità nascoste Le proprietà di risposta delle unità nascoste forniscono un indice molto utile sul tipo di soluzione impiegato dalla rete per risolvere il compito. In generale, vengono presentati vari tipi di stimoli (per esempio forme diverse) alle unità di input e vengono registrate le attivazioni corrispondenti delle unità nascoste; vengono poi ricostruite le curve di risposta (profili) che possono evidenziare specifiche selettività per determinate caratteristiche dello stimolo. Neuroscienza computazionale: i profili di risposta delle unità nascoste vengono confrontati con quelli dei neuroni reali coinvolti nei processi che vengono indagati nelle simulazioni. Zipser & Andersen (1988): hanno dimostrato che una rete addestrata a eseguire trasformazioni sensorimotorie sviluppa proprietà di risposta nelle unità nascoste simili a quelle descritte nei neuroni della corteccia parietale inferiore.

15. Analisi dei pesi sinaptici In modelli con un limitato numero di connessioni sinaptiche, può essere utile analizzare la configurazione dei pesi sinaptici al termine dell’apprendimento e/o durante l’apprendimento, per valutarne l’evoluzione. Lesioni Nelle simulazioni di deficit neuropsicologici, vengono provocate lesioni alla rete neurale artificiale eliminando dei pesi sinaptici o aggiungendo del rumore all’attivazione di alcune unità. Vengono successivamente analizzate le prestazioni delle rete lesionata e confrontate con quelle dei pazienti neuropsicologici.