Slijepa separacija nezavisnih izvora

1. Slijepa separacija nezavisnih izvora Analiza nezavisnih komponenti – ICA (Independent Component Analysis) Roko Krpetić, Jelena Novosel, Bruno Arsenali, Dubravko Hendija, Milan Listeš, Emil Gregov Zagreb, 2010.

2. Uvod • Predstavljena je problematika slijepe separacije nezavisnih izvora • Prikazani su teoretski principi i nekoliko pristupa rješavanju problema separacije ICA metodom • Prikazani su praktični rezultati rješavanja problema separacije FastICA algoritmom

3. Slijepa separacija nezavisnih izvora • Izdvajanje nezavisnih komponenti (rekonstrukcija originalnih signala) iz linearne kombinacije (mješavine) tih signala, gotovo bez ikakvih informacija o originalnim signalima MOTIVACIJA ZA KORIŠTENJE: • Cocktail-party problem - više govornika stvara mješavinu zvučnih signala koji se snimaju mikrofonima → potrebno je odvojiti zasebno zvuk svakog govornika • Biomedicina - EEG daje mješavinu električnih signala mnogih dijelova mozga, koje je potrebno prikazati zasebno, itd...

4. ICA model • Raspolažemo sa n mješavina x1(t),...xn(t)nastalih linearnom kombinacijom n nezavisnih komponenti s1(t),...sn(t) • vremenske signale xi(t) i si(t) možemo smatrati slučajnim varijablama xi i si (kaoda smo vremenske signale uzorkovali), pa je: xi = ai1s1 +...+ ainsn, za i = 1...n • x - stupčani vektor čiji su elementi svi xi, s - stupčani vektor čiji su elementi svi si. ICA model je onda slijedeći: x=As

5. ICA model • Potrebno je odrediti matricu W jednaku inverznoj matrici miješanja A-1, tako da se iz mješavine x mogu dobiti originalne komponente s prema jednadžbi: s=Wx • ICA model zahtijeva da nezavisne komponente imaju negausovu razdiobu, u suprotnom je nemoguće odrediti matricu W

6. Određivanje jedne od nezavisnih komponenti • Kako odrediti matricu W? → korištenjem svojstva negausivnosti • y = wTx → kad bi wT bio jedan od redaka A-1, y bi bio jednak jednoj od nezavisnih komponenti • Uvodimo supstituciju z = ATw: y = wTx = wTAs = zTs Vidljivo je da je y linearna kombinacija nezavisnih si

7. Određivanje jedne od nezavisnih komponenti • Suma nezavisnih varijabli je više gausivna nego svaka varijabla zasebno • Varijablay = wTx = zTsje više gausivna od svake komponente si, te postaje najmanje gausivna kada je upravo jednaka jednoj od nezavisnih komponenti si • Pretpostavlja se neki početni vektorwT, te se zatim iteracijama u kojima se mjeri gausivnost varijable y dolazi do prave vrijednosti vektora wT za koji je gausivnost y najmanja • y je onda jednak jednoj od nezavisnih komponenti si

8. Mjerenje negausivnosti • Kurtosis: kurt(y) = E{y4} - 3(E{y2})2 • Negentropija: J(y) = H(ygauss)−H(y) • H(y) = −∫f(y)log f(y)dy • Negentropija u ovom obliku je prekompleksna za izračun, stoga se koriste njezine aproksimacije

9. Mjerenje negausivnosti • Aproksimacije negentropije: • J(y) ≈ (1/12)E{y3}2+ (1/48)kurt(y)2 • J(y)≈∑pi=1ki[E{Gi(y)}−E{Gi(ν)}]2 • Pažljivim izborom funkcija Gi mogu se dobiti vrlo kvalitetne aproksimacije, npr: • G1(u) = (1/a1)logcosh(a1u) • G2(u) = −exp(−u2/2)

10. Preprocesiranje • Prije obavljanja ICE, obično se vrši preprocesiranje • Centriranje – vektoru x se oduzima njegova srednja vrijednost E{x}, koja se kasnije pribraja izračunatim komponentama s • Izbijeljivanje – obavlja se linearna transformacija vektora x tako da se dobije novi vektor x’ čije su komponente nekorelirane i jediničnih varijanci: x’ = ED-1/2ETx

11. FastICA algoritam • Algoritam kojim procjenjujemo nezavisne parametre korištenjem ICA metode • Brza konvergencija, moguće izdvojeno određivanje samo nekih komponenti, jednostavan izračun, malo memorije • Nije potrebno procjenjivati nepoznatu distribuciju nezavisnih komponenti • Omogućena je optimizacija izvođenja odabirom prikladnih funkcija Gi

12. FastICA algoritam • Na raspolaganju su slijedeće funkcije za procjenu negentropije: • Naredbom [Y, A, W]=fastica(X)u Matlabuse pokreće osnovni oblik izvođenja algoritma, uz korištenje funkcije g1(u) za procjenu negentropije

13. FastICA algoritam • Prvo se računa kovarijancijska matrica i svojstvene vrijednosti, zatim se miješani signali dekoreliraju, te se na kraju provodi ICA, odnosno pronalaženje svih nezavisnih komponenti • Slike prije miješanja: Slike nakon miješanja:

14. FastICA algoritam • Rezultat provođenja FastICA algoritma: • Zajednička gustoća x1 i x2 nakon miješanja, nakon dekoreliranja, nakon ICE:

15. Signali snimljeni tokom magnetoencefalografije prije i nakon obrade ICA metodom

16. Obrada financijskih podataka

17. Zaključak • Prikazana je teoretska podloga i praktična izvedba slijepe separacije nezavisnih izvora (BSS-a) • Problemi slijepe separacije su široko prisutni svugdje u praksi, stoga je BSS naročito interesantna za daljnje promatranje i usavršavanje • Napredniji oblici separacije signala uključili bi uspješno razdvajanje zavisnih komponenti (npr. pomiješane slike ljudskih lica), i eventualno komponenti sa Gaussovom razdiobom