Retele cu functii de baza radiale (retele RBF)

1. Retele cu functii de baza radiale (retele RBF) • Arhitectura si functionare • Capacitatea de reprezentare • Algoritmi de invatare Retele neuronale - Curs 7

2. Arhitectura si functionare N K M RBF - “Radial Basis Function”: Arhitectura: • Doua nivele de unitati functionale • Functii de agregare: • Unitati ascunse: distanta dintre vectorul de intrare si cel al ponderilor corespunzatoare unitatii ascunse • Unitati de iesire: suma ponderata C W ponderi centri OBS: unitatile ascunse nu au asociat prag de activare Retele neuronale - Curs 7

3. Functii de activare N K M Functiile de activare pentru unitatile ascunse au simetrie radiala: • Unitatile ascunse genereaza un semnal de iesire semnificativ doar pentru vectori de intrare suficient de apropiati de centrii corespunzatori Functia de activare pentru unitatile de iesire este de regula o functie liniara C W ponderi centri Retele neuronale - Curs 7

4. Functii cu simetrie radiala g3 (σ=1) Exemple: g2 (σ=1) Obs: parametrul σcontroleaza largimea graficului g1 (σ=1) Retele neuronale - Curs 7

5. Functionare Calculul semnalului de iesire: N K M C W Matricea centrilor Matricea ponderilor Vectorii Ck pot fi interpretati ca prototipuri ale datelor de intrare; - doar vectorii de intrare similari cu vectorul de ponderi asociat unitatii ascunse poate activa unitatea ascunsa corespunzatoare - pentru un vector de intrare dat, semnalul produs de retea este determinat de catre unitatile ascunse al caror centru este suficient de apropiat de vectorul de intrare Retele neuronale - Curs 7

6. Functionare Fiecare unitate ascunsa este “sensibila” la semnalele de intrare provenite dintr-o regiune a spatiului de intrare aflata in vecinatatea centrului. Aceasta regiune este denumita camp receptiv Dimensiunea campului receptiv depinde de σ 2σ σ =1.5 σ =1 σ =0.5 Retele neuronale - Curs 7

7. Functionare acoperire adecvata • Campurile receptive ale unitatilor ascunse trebuie sa asigure o “acoperire” a spatiului de intrare • O buna acoperire a spatiului de intrare asigura o buna capacitate de aproximare • Valori prea mici sau prea mari ale largimii functiilor radiale conduc la acoperiri inadecvate supraacoperire subacoperire Retele neuronale - Curs 7

8. Functionare acoperire adecvata • Campurile receptive ale unitatilor ascunse trebuie sa asigure o “acoperire” a spatiului de intrare • O buna acoperire a spatiului de intrare asigura o buna capacitate de aproximare • Valori prea mici sau prea mari ale largimii functiilor radiale conduc la acoperiri inadecvate σ=1 σ=100 σ=0.01 supraacoperire subacoperire Retele neuronale - Curs 7

9. Capacitate de reprezentare Exemple (caz particular) : retea RBF pentru reprezentarea lui XOR • 2 unitati de intrare • 4 unitati ascunse • 1 unitate de iesire Centrii: u.a. 1: (0,0) u.a. 2: (1,0) u.a. 3: (0,1) u.a. 4: (1,1) Ponderi: w1: 0 w2: 1 w3: 1 w4: 0 0 1 1 Functie de activare: g(u)=1 if u=0 g(u)=0 if u<>0 0 Aceasta abordare nu poate fi aplicata pentru probleme generale de Aproximare (ci doar in cazul interpolarii exacte) Retele neuronale - Curs 7

10. Capacitate de reprezentare Retelele RBF sunt aproximatori universali: o retea cu N intrari si M iesiri poate aproxima orice functie definita pe RN, cu valori in RM, cu o acuratete care depinde de numarul de unitati ascunse Suportul teoretic al retelelor RBF este reprezentat de: • Teoria aproximarii • Teoria regularizarii (determinarea atat a functiilor de baza (nucleu) cat si a parametrilor acestora astfel incat sa fie optimizata eroarea si un termen de regularizare care se refera la proprietati ale functiilor de baza – de exemplu netezime). • Teoria functiilor potential Retele neuronale - Curs 7

11. Aplicabilite Retelele RBF sunt aplicate pentru clase de probleme similare celor pentru care sunt aplicate retelele feed-forward cu functii sigmoidale: • Aproximare • Clasificare • Predictie Retele neuronale - Curs 7

12. Antrenare Parametri adaptivi: • Centrii (prototipurile) corespunzatoare unitatilor ascunse • Largimile campurilor receptive (parametrii functiilor de activare cu simetrie radiala) • Ponderile asociate conexiunilor dintre nivelul ascuns si cel de iesire Variante de antrenare: • Antrenarea simultana a tuturor parametrilor (similara algoritmului BackPropagation – doar regulile de ajustare ale centrilor se modifica) • Obs: aceleasi dezavantaje ale algoritmului BackPropagation • Antrenare separata a parametrilor: • centri, largimi, ponderi Retele neuronale - Curs 7

13. Antrenare Antrenare separata : Set de antrenare: {(x1,d1), …, (xL,dL)} 1. Estimarea centrilor • K=L (nr de centri = nr de exemple), • Ck=xk (vezi exemplul cu XOR) • K<L : centri sunt stabiliti prin • selectie aleatoare din setul de antrenare • selectie sistematica din setul de antrenare (Orthogonal Least Squares - metoda celor mai mici patrate ortogonale) • utilizand o metoda de grupare (clustering) Retele neuronale - Curs 7

14. Antrenare Orthogonal Least Squares: • Selectie incrementala a centrilor astfel incat eroarea sa fie minimizata cat mai mult • Noul centru este ales astfel incat sa fie ortogonal pe spatiul generat de catre centrii deja selectati (procesul este bazat pe metoda de ortogonalizare Gram-Schmidt) • Abordarea este corelata cu regresia de tip “ridge” Retele neuronale - Curs 7

15. Antrenare Grupare (clustering): • Se urmareste identificarea a K clase in setul de date de antrenare {X1,…,XL} astfel incat datele din fiecare clasa sa fie suficient de similare pe cand datele din clase diferite sa fie suficient de diferite • Fiecare clasa va avea un reprezentant (ex: media datelor din clasa) care va fi considerat centrul clasei • Algoritmii pentru determinarea reprezentantilor clasei sunt cunoscuti sub numele de algoritmi partitionali de grupare (realizeaza o partitionare a spatiului de intrare) • Algoritm clasic: K-means Retele neuronale - Curs 7

16. Antrenare K-means: • Se porneste de la centri initializati aleator • Proces iterativ: • Se asigneaza datele la clase folosind criteriul distantei minime (sau a celui mai apropiat centru) • Se recalculeaza centrii ca fiind medii ale elementelor asignate fiecarei clase Retele neuronale - Curs 7

17. Antrenare K-means: • Se porneste de la centri initializati aleator • Proces iterativ: • Se asigneaza datele la clase folosind criteriul distantei minime (sau a celui mai apropiat centru) • Se recalculeaza centrii ca fiind medii ale elementelor asignate fiecarei clase Retele neuronale - Curs 7

18. Antrenare K-means: • Ck:=(rand(min,max),…,rand(min,max)), k=1..K sau Ck este initializat cu un element selectat aleator din setul de date • REPEAT • FOR l:=1,L Determina k(l) astfel incat d(Xl,Ck(l)) <=d(Xl,Ck) Asigneaza Xl clasei k(l) • Calculeaza Ck: = media elementelor ce au fost asignate clasei k UNTIL “nu s-au mai efectuat modificari ale centrilor” Obs: • Centrii nu sunt de regula vectori din setul de antrenare • Numarul de clase trebuie cunoscut de la inceput. Retele neuronale - Curs 7

19. Antrenare Varianta incrementala (numarul de centri nu este cunoscut de la inceput): • Se porneste cu un numar mic de centri initializati aleator • Se parcurge setul de antrenare: • Daca exista un centru suficient de similar cu data de intrare atunci componentele centrului respectiv se modifica pentru a asigura asimilarea datei de intrare in clasa aferenta centrului. • Daca data de intrare este diferita de toti centrii atunci este adaugat un nou centru (unitate ascunsa) care este initializat chiar cu data de intrare analizata. Retele neuronale - Curs 7

20. Antrenare Varianta incrementala: Retele neuronale - Curs 7

21. Antrenare Reguli de estimare a largimilor campurilor receptive. Retele neuronale - Curs 7

22. Antrenare Estimarea ponderilor conexiunilor dintre nivelul ascuns si cel de iesire: • Problema este echivalenta cu cea a antrenarii unei retele cu un singur nivel de unitati functionale liniare • Variante: • Aplicarea unor instrumente din algebra liniara • Aplicarea algoritmului Widrow-Hoff Retele neuronale - Curs 7

23. Retele RBF vs. retele BP Retele BP: • Mai multe nivele ascunse • Functii de agregare bazate pe suma ponderata • Functii de activare sigmoidale (pt. nivelul ascuns) • Unitati de iesire liniare sau neliniare • Antrenare simultana a parametrilor adaptivi • Similare cu tehnicile de aproximare globala Retele RBF: • 1 nivel ascuns • Functii de agregare bazate pe distante (pt. nivelul ascuns) • Functii de activare cu simetrie radiala (pt. nivelul ascuns) • Unitati de iesire cu functie liniara • Antrenare separata a parametrilor adaptivi • Similare cu tehnicile de aproximare locala Retele neuronale - Curs 7