Independent Component Analysis (ICA)

1. Independent Component Analysis (ICA) Ιανουάριος 2012

2. PCA vs ICA

3. PCA vs ICA

4. PCA vs ICA

5. PCA vs ICA

6. PCA vs ICA

7. PCA vs ICA

8. PCA vs ICA ICA PCA

9. Cocktail Party x1 s1 Observations Independent Sources x2 s2

10. Cocktail Party x1 s1 Observations Independent Sources x2 s2 Using Vector-Matrix notation

11. Ανεξαρτησία Τυχαίων Μεταβλητών • Δύο τυχαίες μεταβλητές είναι ανεξάρτητες όταν η πληροφορία γα την τιμή της μίας δεν προσφέρει καμία επιπλέον πληροφορία για την τιμή της άλλης. • Όταν η από κοινού pdfείναι παραγοντοποιήσιμη: ,

12. Ανεξαρτησία Τυχαίων Μεταβλητών s1 x1 s2 x2

13. Ανεξαρτησία Τυχαίων Μεταβλητών s1 x1 IC1 s2 x2 IC2 PC2 PC1

14. Κεντρικό Οριακό Θεώρημα (CLT) • Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή.

15. Κεντρικό Οριακό Θεώρημα (CLT) • Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή. ICn Observed signal = m1 IC1 + m2 IC2 ….+ mn toward Gaussian Non-Gaussian Non-Gaussian Non-Gaussian

16. “Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν τοδιάνυσμα wισούται με μία από τις γραμμές του Α-1 τότε το yισούται με μία από τις ανεξάρτητες συνιστώσες.

17. “Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν τοδιάνυσμα wισούται με μία από τις γραμμές του Α-1 τότε το yισούται με μία από τις ανεξάρτητες συνιστώσες. Με αλλαγή μεταβλητών τότε

18. “Nongaussian is Independent” Έστω γραμμικός συνδυασμός των παρατηρήσεων Αν τοδιάνυσμα wισούται με μία από τις γραμμές του Α-1 τότε το yισούται με μία από τις ανεξάρτητες συνιστώσες. Με αλλαγή μεταβλητών τότε Το άθροισμα έστω και δύο τυχαίων μεταβλητών είναιπερισσότερο «Γκαουσιανό» από καθεμία ξεχωριστά. Η ιδιότητα αυτή ελαχιστοποιείται όταν ο γραμμικός συνδυασμός γίνεται ίσος κάποιο από τα si.

19. “Nongaussian is Independent” Αρκεί λοιπόν ένα αξιόπιστο μέτρο για τη «μήΓκαουσιανότητα» από τη βελτιστοποίηση του οποίου θα προκύψουν οι ανεξάρτητες συνιστώσες. Σε χώρο n διαστάσεων μία τέτοια συνάρτηση έχει 2n τοπικά μέγιστα. Η εύρεση των ανεξάρτητων συνιστωσών γίνεται με αβεβαιότητα ως προς το πρόσημο (κατεύθυνση) και την σειρά.

20. Μέτρα μη Γκαουσιανότητας • Kurtosis

21. Μέτρα μη Γκαουσιανότητας • Kurtosis Super-Gaussian kurtosis > 0 Gaussian kurtosis = 0 Sub-Gaussian kurtosis < 0

22. Μέτρα μη Γκαουσιανότητας • Kurtosis Super-Gaussian kurtosis > 0 Gaussian kurtosis = 0 Sub-Gaussian kurtosis < 0 Μειονέκτημα: Παρουσιάζει μεγάλη ευαισθησία σε outliers. Η τιμή της καθορίζεται περισσότερο από δείγματα στην ουρά της κατανομής.

23. Μέτρα μη Γκαουσιανότητας • Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως:

24. Μέτρα μη Γκαουσιανότητας • Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως: Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση.

25. Μέτρα μη Γκαουσιανότητας • Negentropy Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως: Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση. Συνεπώς ένα κατάλληλο μέτρο για τη μη Γκαουσιανότητα θα ήταν το εξής:

26. Μέτρα μη Γκαουσιανότητας • Negentropy Μειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y).

27. Μέτρα μη Γκαουσιανότητας • Negentropy Μειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y). • Approximations of Negentropy Με χρήση στατιστικών ροπών ανώτερης τάξης: Χρησιμοποιώντας την προσέγγιση

28. Ισοδύναμες προσεγγίσεις • Ελαχιστοποίηση της αμοιβαίας πληροφορίας (Minimization of Mutual Information) • Εκτίμηση μέγιστης πιθανοφάνειας (Maximum Likelihood Estimation)

29. Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI) • Η αμοιβαία πληροφορία ανάμεσα σε m τυχαίες μεταβλητές ορίζεται ως:

30. Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI) • Η αμοιβαία πληροφορία ανάμεσα σε m τυχαίες μεταβλητές ορίζεται ως: • Για έναν αντιστρεπτό γραμμικό μετασχηματισμό η έκφραση γίνεται: • Αποδεικνύεται πως η αναζήτηση για μετασχηματισμό Wπου να ελαχιστοποιεί την αμοιβαία πληροφορία ισοδυναμεί με μεγιστοποίηση του negentropy.

31. Εκτίμηση μέγιστης πιθανοφάνειας Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή:

32. Εκτίμηση μέγιστης πιθανοφάνειας Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή: Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου Wώστε να μεγιστοποιείται το L.

33. Εκτίμηση μέγιστης πιθανοφάνειας Έστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή: Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου Wώστε να μεγιστοποιείται το L. Απαιτείται εκτίμηση της . Στην πράξη αρκεί η εκτίμηση για το αν οι κατανομές είναι sub ή supergaussian. Μειονέκτημα: Αν η εκτίμηση είναι λάθος, το αποτέλεσμα μπορεί να είναι εντελώς λανθασμένο.

34. Επεκτάσεις της ICA • Noisy ICA Συμπεριλαμβάνονται μοντέλα θορύβου κατά την ανάλυση. • Non-Linear ICA Τα παρατηρούμενα σήματα είναι μη γραμμικός συνδυασμός των πηγών. • Binary ICA Οι πηγές και τα παρατηρούμενα σήματα είναι δυαδικά. • Overcomplete ICA Οι πηγές είναι περισσότερες από τα παρατηρούμενα σήματα.

35. Εφαρμογές της ICA Ηλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG)

36. Εφαρμογές της ICA Ηλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG)

37. Εφαρμογές της ICA Τομογραφία - fMRI

38. Εφαρμογές της ICA Τηλεπικοινωνίες: Εξάλειψη θορύβου & αντιμετώπιση πολυόδευσης

39. Εφαρμογές της ICA Οικονομία: Ανάλυση ροών χρήματος

40. Εφαρμογές της ICA Αστρονομία: Ανάλυση φασματικών υπογραφών Αστέρων

41. Εφαρμογές της ICA Επεξεργασία εικόνας - Denoising

42. Εφαρμογές της ICA Εξαγωγή χαρακτηριστικών

43. Χρήσιμες Πηγές • Fast ICA http://research.ics.tkk.fi/ica/fastica/ • Cocktail Party audio examples http://cnl.salk.edu/~tewon/Blind/blind_audio.html • “Independent Component Analysis: Algorithms and Applications”, Aapo Hyvärinen and Erkki Oja. • “Survey on Independent Component Analysis”, Aapo Hyvärinen.