Επεξεργασία εγκεφαλογραφήματος για τη μελέτη της μουσικής προτίμησης

1. Επεξεργασία εγκεφαλογραφήματος για τη μελέτη της μουσικής προτίμησης Επεξεργασία ΣήματοςΠΡΟΜΕΣΙΠ 2011 Γκόντρα Πολυξένη Τσιλιγκύρη ΑλεξάνδραΧειμαριώτης Άρης

2. Στόχος • Η μελέτη των μουσικών προτιμήσεων μέσω της στατιστικής ανάλυσης χαρακτηριστικών στοιχείων των εγκεφαλογραφημάτων (EEG) 9 συμμετεχόντων σε πείραματα που διεξήχθηκαν: • Εύρεση ομοιοτήτων και διαφορών ανάλογα με διαφορετικές συνθήκες των πειραμάτων: αρεστά, μη αρεστά, θόρυβος δεδομένου του επιπέδου της εξοικείωσης

3. Πειραματικό πρωτόκολλο (1) • Ακρόαση 75 ηχητικών αποσπασμάτων (επαναλήψεις) • 60 από μουσικά κομμάτια από 4 είδη μουσικής • 15 λευκός θόρυβος • Ερωτηματολόγιο μετά το πέρας του πειράματος σχετικά με • πόσο άρεσε στους συμμετέχοντες κάθε απόσπασμα [(5) Πολύ, (4) Αρκετά, (3) Μέτρια, (2) Λίγο, (1) Καθόλου] • πόσο εξοικειωμένοι ήταν με το κάθε απόσπασμα [(5) Πολύ, (4) Αρκετά, (3) Μέτρια, (2) Λίγο, (1) Καθόλου] • 14 μονοπολικά κανάλια καταγραφής τοποθετημένα συμμετρικά στο αριστερό και δεξί ημισφαίριο του εγκεφάλου

4. Πειραματικό πρωτόκολλο (2) • Κάθε επανάληψη του πειράματος διήρκησε 25,5 sec και συνίσταται από: • 0 – 3 sec: χαλάρωση • 3 sec: εμφανίζεται ένας σταυρός στο κέντρο της οθόνης και παραμένει εκεί μέχρι το 19,5 sec. • 3,5 – 4 sec: τόνος που δηλώνει την έναρξη του μουσικού κομματιού • 4 – 19 sec: ηχητικό απόσπασμα • 19 – 19,5 sec: τόνος που δηλώνει το τέλος του ηχητικού αποσπάσματος • 19,5 – 25,5 sec : ερωτηματολόγιο

5. Δεδομένα • Τα διαθέσιμα EEG σήματα προέρχονται • από 9 συμμετέχοντες στο πείραμα • από 4 από τα 14 διαθέσιμα κανάλια καταγραφής: 1 – AF3, 2 – F3 (αριστερό εγκεφαλικό ημισφαίριο) και 3 – F4, 4 – AF4 (δεξί εγκεφαλικό ημισφαίριο) • από 5 διαφορετικές συνθήκες πειραμάτων και είναι διάρκειας: • 15 sec -> 15 sec × 128 δείγματα/sec = • 1920 δείγματα • όπου 128 είναι η συχνότητα δειγματοληψίας του εγκεφαλογραφήματος

6. Συνθήκες πειραμάτων • 5 κατηγορίες: Ακρόαση μουσικών κομματιών για τα οποία οι συμμετέχοντες απάντησαν ό,τι • Τους άρεσαν [(5) Πολύ, (4) Αρκετά] και τα γνώριζαν [(5) Πολύ, (4) Αρκετά] (dLF) • Τους άρεσαν [(5) Πολύ, (4) Αρκετά] και δεν τα γνώριζαν [(3) Μέτρια, (2) Λίγο, (1) Καθόλου] (dLUF ) • Δεν τους άρεσαν [(3) Μέτρια, (2) Λίγο, (1) Καθόλου] και τα γνώριζαν [(5) Πολύ, (4) Αρκετά] (dDF ) • Δεν τους άρεσαν [(3) Μέτρια, (2) Λίγο, (1) Καθόλου] και δεν τα γνώριζαν [(3) Μέτρια, (2) Λίγο, (1) Καθόλου] (dDUF ) • Διαστήματα ακρόασης λευκού θορύβου (dN )

7. Επιμέρους βήματα • Φιλτράρισμα των σημάτων σε 4 ζώνες με χρήση ζωνοπερατών φίλτρων • Υπολογισμός spectrogramανά σήμα και ανά κανάλι • Υπολογισμός μέσου όρου spectogramγια τις 5 διαφορετικές κατηγορίες EEG (dLF, dLUF, dDF, dDUF και dN) • Έυρεση τιμών της μέγιστης κορυφής, οι αντίστοιχες θέσεις τους στο επίπεδο της συχνότητας και οι τιμές της φάσης για κάθε μέσο spectrogram • Οι χρονικές διάρκειες κατά τις οποίες το πλάτος του μέσου spectrogram ξεπερνά το 30% του εκάστοτε μεγίστου • Στατιστική ανάλυση ***Η υλοποίηση όλων των βημάτων έγινε με ανάπτυξη αντίστοιχων συναρτήσεων στο MATLAB

8. Φιλτράρισμα με φίλτρο Butterworth • Φιλτράρισμα σε 4 ζώνες: • Alpha (8-12.5 Hz) • Beta1 (13-18 Hz) • Beta2 (18.5-24 Hz) • Beta3 (24.5-31.5 Hz) • Χρησιμοποιήθηκε Butterworth 3ης τάξης • Όσο αυξάνεται η τάξη τόσο η καμπύλη απόκρισης γίνεται επίπεδη και πλησιάζει του ιδανικού κατωδιαβατού/ανωδιανατού

9. Αφαίρεση μη ωφέλιμων μετρήσεων • Mετρήσεις με παρουσία κρουστικού θορύβου : • Ο κρουστικός θόρυβος προκαλεί μεγάλες διαταραχές στο πλάτος του σήματος, σύντομης χρονικής διάρκειας αλλά μεγάλου πλάτους με τη μορφή οξείας αιχμής • Στην περίπτωσή μας μετρήσεις με πλάτος >400 mV θεωρήθηκαν ως μη ωφέλιμες και το αντίστοιχο σήμα αφαιρέθηκε από τα δεδομένα προς ανάλυση. • Αφαίρεση με χρήση EEGLAB (eegthresh)

10. Spectrogram • Υπολογίστηκε ως εξής: • Short- time Fourier transform. • Χωρισμός σήματος σε 8 χρονικά διαστήματα. • Παράθυρο Hamming • 50% επικάλυψη γειτονικών χρονικών διαστημάτων. • 257 συχνότητες.

11. Μέσος όρος Spectograms • Ο υπολογισμός του φασματογραφήματος έγινε για όλες τις κατηγορίες, όλες τις ζώνες συχνοτήτων και όλα τα διαθέσιμα κανάλια καταγραφής. Στη συνέχεια, για κάθε μία από τις 5 κατηγορίες (DUF, DF, LUF, LF, N) υπολογίστηκε το μέσο φασματογράφημα για δεδομένη ζώνη συχνοτήτων και κανάλι καταγραφής. Έτσι λοιπόν προέκυψαν 5 πίνακες διάστασης 257 x 8 x 4 x 4

12. Mean Spectograms– Ζώνη Alpha

13. Mean Spectograms – Ζώνη Βeta1

14. Mean Spectograms – Ζώνη Βeta2

15. Mean Spectograms – Ζώνη Βeta3

16. Κορυφές spectograms

17. Κορυφές spectograms

18. Κορυφές spectograms

19. Κορυφές spectograms

20. Κορυφές spectograms

21. 30% Spectrogram • Εκτός από την κορυφή του κάθε spectrogram υπολογίστηκαν και οι χρονικές και συχνοτικές περιοχές όπου το πλάτος του spectrogram ήταν πάνω από το 30% του μέγιστου πλάτους.

22. Στατιστική ανάλυση • Χρήση μη-παραμετρικών τεστ για εύρεση ανεξαρτησίας (διαφορών) - Wilcoxon και μη ανεξαρτησίας (ομοιότητες) – Spearman. • Χρήση ταξινομητώνnaive Bayes, SVM, k-Nearest Neighbor για εκτίμησηομοιοτήτων.

23. Μη παραμετρικά τεστ • Με τους ελέγχους στατιστικής σημαντικότητας ελέγχεται αν μπορεί να απορριφθεί μια μηδενική υπόθεση (null hypothesis) ή όχι. • Η μηδενική υπόθεση απορρίπτεται ανάλογαμε το παρατηρούμενο στατιστικό επίπεδο σημαντικότητας • ρ<=0.05 η μηδενική υπόθεση απορρίπτεται • ρ>0.05 δεν μπορούμε να εξάγουμε κάποιο στατιστικώς σημαντικό συμπέρασμα • Όταν κάνουμε έναν έλεγχο υπόθεσης χωρίς να υποθέτουμε ότι τα δεδομένα ακολουθούν κάποια γνωστή κατανομή (π.χ. κανονική), χρησιμοποιούμε μη παραμετρική στατιστική.

24. WilcoxonTest (1/2) • Mη παραμετρική μέθοδος για την εύρεση διαφορών που εμφανίζονται στις διαφορετικές συνθήκες των πειραμάτων (αρεστά, μη αρεστά, θόρυβος δεδομένου του επιπέδου της εξοικείωσης). • Wilcoxon rank sum test • Μηδενική υπόθεση υπό έλεγχο: τα δεδομένα υπό σύγκριση (Χ,Υ) είναι ανεξάρτητα δείγματα από όμοιες συνεχείς κατανομές με ίσες διαμέσους, έναντι της εναλλακτικής ότι δεν έχουν ίσες διαμέσους • X και Y μπορούν να έχουν διαφορετικά μήκη • Signed rank test • Τα δεδομένα Χ, Υ προέρχομαι από μια συνεχή, συμμετρική κατανομή με μηδενική διάμεσο, έναντι της εναλλακτικής ότι η κατανομή δεν έχει μηδενική διαμέσο • X και Y δεν μπορούν να έχουν διαφορετικά μήκη

25. Wilcoxon Test (2/2) • Ζεύγη συγκρίσεων: • LF-LUF LF-DF LF-DUF LF-N DF-DUF DF-LUF DF-NLUF-DUF LUF-N DUF-N • Σύγκριση για κάθε ζεύγος • Signed Rank test: Τιμών, συχνοτήτων και φάσεων στο μέγιστο του spectogram ανά ζώνη συχνοτήτων & ανεξαρτήτως αυτών (150 συγκρίσεις). • Wilcoxon Rank Sum test: Τιμών άνω του 30% της μέγιστης κορυφής και των αντίστοιχων χρονικών διαστημάτων ανά ζώνη συχνοτήτων ανεξαρτήτως καναλιού & ανά ζώνη συχνοτήτων και ανά κανάλι(400 συγκρίσεις).

26. Αποτελέσματα (1/2) • Η μηδενική υπόθεση απορρίφθηκε (p<=0.05) στην περίπτωση αναμενόμενων διαφορών είτε έδωσε συμπεράσματα που δεν μπορούσαν να ερμηνευτούν. • Είτε τα χαρακτηριστικά που επιλέχθηκαν να μελετηθούν δεν ήταν κατάλληλα για τα δεδομένα μας είτε το Wilcoxon test δεν είναι η κατάλληλη στατιστική μέθοδος για το πρόβλημα μας

27. Αποτελέσματα (2/2) • Περιπτώσεις απόρριψης της μηδενικής υπόθεσης Όταν δεν λαμβάνουμε υπόψην Τη ζώνη συχνοτήτων για τις μέγιστες Τιμές βλέπουμε διαφορές για όλα τα ζεύγη!!!!

28. Spearman (1/2) • Μη παραμετρική μέθοδος για την εύρεση ομοιοτήτων που εμφανίζονται στις διαφορετικές συνθήκες των πειραμάτων (αρεστά, μη αρεστά, θόρυβος δεδομένου του επιπέδου της εξοικείωσης) • Μηδενική υπόθεση: Τα δεδομένα Χ, Υ δεν παρουσιάζουν συσχέτιση. • Ευρέως γνωστός ως δείκτης συνάφειας και χρησιμοποιείται για την μελέτη του είδους και του μεγέθους της γραμμικής σχέσης δεδομένων Χ, Υ. • Τιμές από -1 έως +1.

29. Spearman (1/2) • Ζεύγη συγκρίσεων: • LF-LUF LF-DF LF-DUF LF-N DF-DUF DF-LUF DF-NLUF-DUF LUF-N DUF-N • Σύγκριση για κάθε ζεύγος • Τιμών της μέγιστης κορυφής στα μέσα spectrogram, των αντίστοιχων συχνοτήτων και φάσεων ανά ζώνη συχνοτήτων (120 περιπτώσεις)

30. Αποτελέσματα (1/2) • Παντού το επίπεδο σημαντικότητας >0.05 • Η μέθοδος δεν είναι κατάλληλη για την μελέτη συσχετίσεων στα δεδομένα μας είτε η επιλογή των χαρακτηριστικών δεν ήταν κατάλληλη Spearman Correlation Coefficients Ζώνη Alpha (8-12.5 Hz) Spearman Correlation Coefficients Ζώνη Beta1 (13-18 Hz)

31. Αποτελέσματα (2/2) Spearman Correlation Coefficients Ζώνη Beta2 (18.5-24 Hz) Spearman Correlation Coefficients Beta3 (24.5 – 31.5 Hz)

32. Ταξινομητές (1/2) • Με χρήση naiveBayesianclassifiers και nearestneighborclassifiers, μελετήθηκε η δυνατότητα ταξινόμησης μεταξύ • των 5 γνωστών κατηγοριών: DUF, DF, LUF, LF, N. • των 3 κατηγοριών: Μη αρεστό, Αρεστό, Λευκός Θόρυβος. • Στην κατηγορία «Μη αρεστό» συγχωνεύτηκαν οι κατηγορίες DUF και DF ενώ στην κατηγορία «Αρεστό» συγχωνεύτηκαν οι κατηγορίες LUF και LF.

33. Ταξινομητές (2/2) • Δημιουργήθηκαν 672 διανύσματα χαρακτηριστικών (featurevectors) • Με cross validation το σύνολο των 672 διανυσμάτων χαρακτηριστικών χωρίζονται σε 10 κατηγορίες • 9 κατηγορίες χρησιμοποιούνται για την εκπαίδευση του ταξινομητή και η 10η κατηγορία για τη δοκιμή του • H διαδικασία επαναλαμβάνεται 10x10 φορές ώστε να συμπεριληφθηθούν όλες οι κατηγορίες για training & testing • Οι ταξινομητές εκτιμήθηκαν με βάση τους συντελεστές σωστής και λάθος ταξινόμησης (correctRate και errorRate).

34. Naive Bayesian Ταξινόμηση • Το διάνυσμα χαρακτηριστικών λαμβάνεται ως ανεξάρτητη, των υπολοίπων χαρακτηριστικών, μεταβλητή-> διακρίνουσα ανάλυση (discriminantanalysis) • Διακρίνουσας συνάρτηση που χρησιμοποιήθηκε • diagquadratic

35. Ταξινόμηση σε 5 ομάδες Συντελεστής λάθους > από τον συντελεστή τυχαιότητας (>50%) οι 5 κατηγορίες δεν μπορούν να διακριθούν μεταξύ τους με τα διαθέσιμα δεδομένα και με χρήση του naiveBayesian μοντέλου. Ταξινόμηση σε 3 ομάδες Καλύτερος συντελεστής λάθους σε σχέση με εκείνον για 5 ομάδες αλλά κα πάλι υψηλός (>50%) Μη αποτελεσματικός ταξινομητής Αποτελέσματα

36. Ταξινόμηση k-Κοντινότερων Γειτόνων • Το αντικείμενο ταξινομείται σε μία από τις υποψήφιες κλάσεις με βάση την πλειοψηφία των γνωστών αντικειμένων που βρίσκονται στην k- γειτονία του • Για τα δεδομένα μας k=300 μετά από δοκιμές testanderror

37. Αποτελέσματα • Ταξινόμηση σε 5 ομάδες • Συντελεστής λάθους υψηλή • οι 5 κατηγορίες δεν μπορούν να διακριθούν μεταξύ τους με τα διαθέσιμα δεδομένα και με χρήση του k-κοντινότερων γειτόνων • Ταξινόμηση σε 3 ομάδες • Καλύτερος συντελεστής λάθους σε σχέση με εκείνον για 5 ομάδες αλλά κα πάλι υψηλός • Μη αποτελεσματικός ταξινομητής

38. Ταξινόμηση με Support Vector Machine • Χρησιμοποιείται για να διαπιστωθούν διαφορές και ομοιότητες στα εγκεφαλογραφήματα δύο ομάδων πειραμάτων (DUF-DF, DUF-LUF, DUF-LF, DUF-N, DF-LF, DF-LUF, LF-LUF, DF-N, LF-N)

39. Αποτελέσματα (1/2) • Αρεστό – Γνωστό (LF) : • Μέτρια ταξινόμηση (~30% μέσο σφάλμα) με τις ομάδες LUF και DUF • Χειρότερη(~40% σφάλμα) με τις ομάδες DF-N. • Αρεστό – Άγνωστο (LUF): • Kατά σειρά, γίνεται καλύτερη ταξινόμηση με τις ομάδες DUF, DF, N , LF . • Μεγαλύτερη διαφορά στα χαρακτηριστικά παρατηρείται με την ομάδα DUF και μικρότερη με την ομάδα LF. • Μη αρεστό – Γνωστό (DF): • Καλύτερη ταξινόμηση με την ομάδα LUF , μέτρια με την ομάδα LF • χειρότερη με τις ομάδες DUF,N • Μεγαλύτερες διαφορές με τις ομάδες LUF,LF και μικρότερες με τις DUF,N.

40. Αποτελέσματα (2/2) • Μη αρεστό – Άγνωστο (DUF): • Καλύτερη ταξινόμηση με την ομάδα LUF, μέτρια με την ομάδα LF και χειρότερη με τις ομάδες DF,N • Μεγαλύτερες διαφορές με τις ομάδες LUF,LF και μικρότερες με τις DF,N. • Λευκός Θόρυβος (Ν): • Καλύτερη ταξινόμηση με την ομάδα LUF και έπειτα με την DUF. • Πολύ κακή(~45%) με τις LF , DF.

41. Συμπεράσματα (1/2) • Η χρήση μη παραμετρικών τεστ δεν μπορεί να οδηγήσει σε συμπεράσματα σε σχέση με ομοιότητες και διαφορές μεταξύ διαφορετικών συνθηκών του πειράματος • Χαμηλό επίπεδο σημαντικότητας p>0.05 • Η χρήση naiveBayesianclassifiers και nearestneighborclassifiers για ταξινόμηση δεν είναι αποτελεσματική • Υψηλοί συντελεστές σφάλματος

42. Συμπεράσματα (2/2) • Με χρήση SVM, υπάρχει η δυνατότητα αν δοθεί ένα EEG ατόμου που ακροάστηκε ένα μουσικό κομμάτι να διαπιστωθεί με μεγάλη αξιοπιστία: • Ότι ήταν άγνωστο το κομμάτι και είτε του άρεσε είτε δεν του άρεσε. • Ότι ήταν άγνωστο το κομμάτι και του άρεσε ή ότι ήταν γνωστό και δεν του άρεσε. • Ότι του άρεσε ένα άγνωστο μουσικό κομμάτι ή ότι άκουσε ένα απόσπασμα λευκού θορύβου.

43. Μελλοντικές Επεκτάσεις • Χρήση διαφορετικών χαρακτηριστικών από τα EEGs. • Χρήση στατιστικής ανώτερης τάξης, όπως • κυρτότητα ή σωρείτες του φασματογραφήματος

44. Ευχαριστούμε !