APPROSSIMAZIONE DI FUNZIONI

1. APPROSSIMAZIONE DI FUNZIONI

2. risposta desiderata d x f (.) incognita - e + y • dipende dalla scelta di w che può essere modificato per minimizzare la discrepanza tra y e d • quando y approssima d, il sistema adattativo sta approssimando con la sua mappa input-output AF - 1 • La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE • Le MLP possono essere viste come particolari REGRESSORI NON LINEARI PROBLEMA Sia: x input d = f ( x) funzione incognita Obiettivo : trovare f (.) assegnato un numero finito di coppie ( x , w )

3. AF - 2 • La natura di f (.) e il criterio di errore definiscono il problema di learning • Se f (.) lineare e criterio di errore MSE  REGRESSIONE LINEARE • Se f (.) produce valori 1/0 ( -1/ 1 )  classificazione. • In tale caso la funzione è chiamata FUNZIONE INDICATORE • Anche il problema della generalizzazione può essere trattato matematicamente nell’ottica dell’approssimazione di funzioni UTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONE • SONO APPROSSIMATORI UNIVERSALI • SONO APPROSSIMATORI EFFICIENTI • POSSONO ESSERE IMPLEMENTATE COME SISTEMI ADATTATIVI

4. Con arbitrariamente piccolo OBIETTIVO DELLA AF AF - 3 Descrivere il comportamento di funzioni altamente complesse utilizzando insiemi di funzioni più semplici Es: - Legendre e Gauss  uso di polinomi - Sviluppo in serie di Taylor  approssimazione nell’intorno di un punto - Serie di Fourier  uso dei polinomi trigonometrici Generalizzazione Hp: TEOREMA DELLA PROIEZIONE LINEARE Si può descrivere f(x), in una area compatta S dello spazio degli ingressi attraverso una combinazione di funzioni semplici ji(x), cioè:

5. j1 w1 x1 j2 w2 x2 f (x,w) jk wk S wN xd j N 1. SCEGLIERE LE FUNZIONI ELEMENTARI 2. CALCOLARE I PESI wi 3. SELEZIONARE IL NUMERO N DI FUNZIONI ELEMENTARI 1. AMPIA SCELTA (TRIGONOMETRICHE, SINC, WAVELET, etc.) Nota: I neuroni nascosti di una MLP con 1 strato nascosto implementano una possibile scelta delle funzioni elementari REALIZZAZIONE AF - 4 Quando si determinano i coefficienti wi che rendono e arbitrariemente piccolo per qualunque f (.) nel dominio d’interesse si dice che l’insieme {ji(.)} ha la proprietà di approssimatore universale sulla classe f (.), o anche che l’insieme è completo PROBLEMI

6. 2. La scelta dei wi dipende dal criterio usato per calcolare la discrepanza tra e Es: criterio LS i wipossono essere calcolati analiticamente Se N è pari al numero di pattern d’ingressoxi: si può scrivere: è un vettore dei valori della funzione negli N punti • Devono essere approssimatori universali per la classe di funzioni f(.) • Devono essere facilmente trattabili matematicamente • Deve esistere verificato se le costituiscono una base, cioè sono linearmente indipendenti AF - 5 CRITERI PER LA SCELTA DELLE {ji(.)} SPESSO SI ASSUME CHE LE {ji(.)} SIANO UNA BASE ORTONORMALE

7. TEOREMA DEL CAMPIONAMENTO AF - 6 Si può approssimare qualunque segnale reale che sia smooth in un intervallo conoscendo i valori del segnale in un insieme finito di punti equispaziati (detti campioni) nell’intervallo a) Funzioni sinc Si può dimostrare che i pesi sono i valori del segnale nei punti di campionamento b) Serie di Fourier

8. AF - 7 • c) Wavelet • Nella trasformata di Fourier le funzioni elementari hanno estensione infinita nel tempo • In molte applicazioni i segnali hanno durata temporale finita (es. transitori) • L’idea alla base dell’analisi wavelet è di scegliere una forma d’onda adatta a rappresentare il segnale e poi creare molte versioni traslate e scalate dell’onda “madre” • La decomposizione wavelet ha due parametri: Traslazione e scanalatura di una wavelet

9. y b1 +1 X1 a11 X2 w1 w1 XD AF - 8 • Usando sistemi adattativi i pesi possono essere trovati attraverso il learning piuttosto che analiticamente • Le basi sono dipendenti dai dati Basi per l’approssimazione di funzioni non lineari con le MLP • Funzioni elementari locali: rispondono primariamente ad un’area limitata dello spazio degli ingressi • Funzioni elementari globali: rispondono all’intero spazio degli ingressi La MLP realizza l’approssimazione di funzione usando come basi esattamente le uscite dei neuroni nascosti

10. AF - 9 Approssimazione con funzioni logistiche Nota: i neuroni sigmoidali realizzano funzioni elementari globali Interpretazione: la MLP sta realizzando una approssimazione di funzione con un set di BASI ADATTATIVE che vengono realizzate dai dati di input-output Esse dipendono dai pesi del primo strato e dagli ingressi

11. APPROSSIMAZIONE CON RBF monodimensionale RADIAL BASIS FUNCTION (RBF) AF - 10 • g di norma è una gaussiana: • La gaussiana è centrata in xi con varianza s 2 : ha il massimo della risposta nell’intorno dell’ingresso xi e decade esponenzialmente col quadrato della distanza • Sono funzioni elementari locali • Dalla:

12. L’APPROSSIMAZIONE CON RBF RICHIEDE: AF - 11 • Il posizionamento delle Gaussiane per coprire lo spazio degli ingressi • Il controllo dell’ampiezza di ciascuna Gaussiana • Il controllo della larghezza di ciascuna Gaussiana DIFFERENZE TRA MLP E RBF RBF: - basi locali  modificandone una non si influenza l’approssimazione nelle altre zone dello spazio - il numero di RBF cresce esponenzialmente con le dimensioni dello spazio da coprire - Allenamento efficiente una volta determinati i centri delle funzioni  infatti l’errore è lineare coi pesi - Convergenza al minimo globale purché i pesi siano posizionati in modo ottimo LE RBF SONO MOLTO ADATTE PER L’IDENTIFICAZIONE DI SISTEMI

13. Alta varianza non generalizza Alto bias (errore) Scelta del numero di basi AF - 12 Una scelta ottimale discende da un compromesso tra l’errore sul modello e la sua varianza Analogia col fitting polinomiale • I fiducial sono gli esempi del trainig set • Il dominio completo è costituito da tutti i dati possibili d’ingresso • Il polinomio corrisponde alla mappa input/output creata dalla rete • I coefficienti del polinomio equivalgono ai pesi delle connessioni • Il grado del polinomio corrisponde al numero di pesi