370 likes | 799 Views
NEURONSKE MRE ŽE (Neural Networks). Ivan Živković. POJAM. Veštačka neuronska mreža je paradigma obrade informacija kakvo vrše biološki neuronski sistemi.
E N D
NEURONSKE MREŽE(Neural Networks) Ivan Živković
POJAM Veštačka neuronska mreža je paradigma obrade informacija kakvo vrše biološki neuronski sistemi. Veštačke neuronske mreže koriste principe ljudskog mozga i njegove strukture, kako bi razvile strategiju procesiranja podataka. Suština je u masovnoj paralelnoj obradi podataka.
ISTORIJSKI RAZVOJ 1943. Warren McCulloch i Walter Pitts uveli prvi, jednostavni matematički model neurona 1949. Donald Hebb - “Organizacija ponašanja” (The organisation of behaviour) 1951. Marvin Mynski dizajnirao prvi neurokompjuter Snark (od 40 neurona) 1957. Frank Rosenblatt je izumeo perceptron Carpenter i Grossberg - ART mreža (Adaptive Resonance Theory) konferencija 1987. u San Dijegu, stručni časopisi Neural Networks, Neural Computation (1989)
ANALOGIJA DELOVA BIOLOŠKOG I VEŠTAČKOG NEURONA Telo neurona Sinapse Akson Potencijal outputa Potencijal inputa Dendriti Aktivacijska funkcija Težinski koeficijenti Zbir Vrednost inputa Vrednosti outputa
Osnove neuronskih mreža Neuron – prima ulaze, procesira ih i proizvodi jedan izlaz
Osnove neuronskih mreža Mreža – sastoji se od neurona grupisanih u slojeve
Procesiranje informacije u mreži xi (i = 1, 2, ... , m) – ulazne veze, vrednosti ulaza koje neuron prima (signali ili potencijali ulaua kod biološkog neurona); wki (i = 1, 2, ... , m) – tzv. težinski koeficijenti – weights (sinapse kod biološkog neurona); uk– zbirna vrednost, koja se dobija sabiranjem ponderisanih ulaza (telo prirodnog neurona); a(.) – aktivacijska funkcija (akson kod biološkog neurona); θK – prag aktivacije ; yi – vrednost izlaza tj. outputa (potencijal izlaza kod biološkog neurona).
Funkcija transformacije Određuje da li rezultat funkcije sumiranja (interna aktivacija) može da proizvede izlaz. Linearna i nelinearna Nelinearnost je od izuzetnog značaja Jedna od najpoznatijih je sigmoidalna funkcija
Sigmoidna (logistička) funkcija b – parametar nagiba
ARHITEKTURA (TOPOLOGIJA) NEURONSKE MREŽE Jedan ili više slojeva Sa više slojeva: ulazni, skriveni, izlazni Složenije neuronske mreže mogu imati više skrivenih slojeva, povratne petlje i elemente za odlaganje vremena, koji su dizajnirani da omoguće što efikasnije odvajanje važnih osobina ili šema sa ulaznog nivoa.
OSTALE PODELE NEURONSKIH MREŽA • Prema vrstama veza: • slojevite • potpuno povezane • celularne Prema smeru prostiranja informacija: • Feedforward (nerekurzivne, nerekurentne ili nepovratne) • Feedback ( rekurzivne, rekurentne ili povratne)
OSTALE PODELE NEURONSKIH MREŽA Rekurentna mreža
Sposobnost učenja • Prema tipu učenja u mreži, algoritmi neuronskih mreža se dele na: • Nagledano (supervised) učenje • Nenagledano (unsupervised) učenje * Npr. predviđanje ponašanja kupaca u odnosu na neki proizvod sa poznatim prošlim akcijama kupaca ili bez poznatih prošlih akcija.
Sposobnost učenja Treniranje sistema Backpropagation algoritam (algoritam povratnog prostiranja) Cilj je da se procesuira veliki broj slučajeva kroz neuronsku mrežu u fazi treninga, kako bi se obezbedio najviši kvalitet izlaza u odnosu na postojeće inpute
Backpropagation algoritam Najčešće korišćen algoritam učenja Lak za implementaciju Počevši od izlaznog sloja, razlika (greška) između željenih i stvarnih izlaza računa se da bi se na osnovu nje popravile vrednosti težina u prethodnom sloju
Backpropagation algoritam 1. Inicijalizacija težina (slučajna) 2. Učitavanje ulaznog vektora i željenog izlaza 3. Propuštanje ulaznog vektora kroz mrežu i dobijanje izračunatog izlaza 4. Izračunavanje greške 5. Podešavanje težina idući unazad od izlaznog sloja ka skrivenim slojevima
Prikupljanje i priprema podataka Kada je problem jasno definisan potrebno je prikupiti podatke Set podataka sastoji se iz određenog broja slučajeva (vektora), od kojih svaki sadrži određeni broj vrednosti za ulazne i izlazne varijable Vrsta ulaznih podataka određuje topologiju i algoritam učenja Podaci moraju biti u numeričkom obliku
Trening i testiranje mreže Mreži se prezentiraju podaci za treniing i ona uči sve dok nije u stanju da proizvede izlaz koji poštuje unapred određenu toleranciju Testiranje se vrši na podacima za testiranje Testiranje omogućava proveru valjanosti funkcionisanja
PROBLEMI NA KOJE SE MOGU PRIMENITI NEURONSKE MREŽE kod kojih postoji mnogo prošlih reprezentativnih primera; kod kojih se varijable mogu kvantitativno izraziti; kod kojih standardne statističke metode nisu pokazale uspeh, tj. pojava se ne može predstaviti nekim linearnim modelom; kod kojih je ponašanje pojave često neizvesno, podaci nepotpuni, te je potreban robustan alat.
PRIMENA NEURONSKIH MREŽA U EKONOMIJI Procena budućih uslova (predviđanje cena akcija, obveznica, finansijskih derivata i sl.) Klasifikacija entiteta zasnovana na istorijskim ili izmerenim podacima (klasifikacija akcija u grupe: kupi, prodaj, zadrži; klasifikacija hipotekarnih kredita na dobre i loše)
ZAKLJUČAK Prednost neuronskih mreža u odnosu na statističke tehnike, kada su u pitanju nelinarni modeli Predstavljaju robustan alat, pogodan za primenu u uslovima neizvesnosti i nepotpunih podataka Kao i kod ostalih tehnika, od kvaliteta ulaznih podataka u velikoj meri zavisi kvalitet outputa (garbage in garbage out)