Melodi sche Ähnlichkeit

1. Melodische Ähnlichkeit Daniel Müllensiefen & Klaus Frieler Symbole&Signale Hamburg WS 04/05, 7.1.2005

2. Aufbau des Vortrags • Motivation/Hypothesen • Ähnlichkeitsmaße • Experimente • Modellierung • Anwendungen • Zusammenfassung

3. 1. Motivation • Melodische Ähnlichkeit ist ein Kernkonzept in Musik und Musikwissenschaft, z.B.: • Musiktheorie, Musikanalyse • Musikpsychologie, z.B. Musikgedächtnisforschung • Datenbanksuche • U.v.m. • Quantifzierung von Ähnlichkeit: Ähnlichkeitsmaße • Sehr große Anzahl von Ähnlichkeitsmaßen in der Literatur • Frage: Gibt es „objektive“ Ähnlichkeit? Kann man Ähnlichkeitsurteile algorithmisch modellieren?

4. 1. Motivation (Fort.) • Ziel: Bestimmung adäquater Ähnlichkeitsmaße • Methode: Mathematische Systematisierung, algorithmische Implementierung und musikpsychologische Validierung • Resultat: Software Simile (a.k.a. „Antiplagiator“)

5. 1. Hypothesen • Musikexperten bewerten melodische Ähnlichkeit sehr präzise und konsistent. Bewertungen können als ‚korrekt‘ definiert werden und als Referenz für algorithmische Maße dienen. • Musikexperten benutzen verschiedene musikalische Dimensionen für ihre Bewertungen (z.B. Intervalle, Kontur, Rhythmus). Konstruktion von ‚optimierten‘ Maßen als Kombination verschiedener Einzelmaße.

6. 2. ÄhnlichkeitsmaßeDefinition • Sei M = { (ti, pi), ti<ti+1} der Raum abstrakter Melodien von (Einsatzpunkt, Tonhöhe)-Paaren. • Ein Ähnlichkeitsmaß ist eine Abbildung s: MxM->[0,1] mit den folgenden Eigenschaften: • Symmetrie s(m, n) = s(m, n) • Selbstidentität: s(m, m) = 1 • Invarianz unter Transposition, Zeit- verschiebung und -streckung (Tempowechsel)

7. 2. Ähnlichkeitsmaße Überblick Daten Basistransformationen Haupttransformationen Numerischer Algorithmus Ähnlichkeitswert

8. 2. Ähnlichkeitsmaße Basistransformationen • Projektionen: Tonhöhen– und Rhythmus-projektionen • Differenzierung: • Tonhöhe Intervalle • Einsatzpunkte Dauern (IOIs) • Dauern Dauernverhältnisse • Quantisierung

9. 2. Ähnlichkeitsmaße Haupttransformationen • Rhythmische Gewichtung • Rangbildung • Konturisierung: Interpolation von Tonhöhenwerten zwischen Extrema. (Steinbecks und eigener Algorithmus) • Fouriertransformation • Fuzzifizierung/Kategorisierung (Intervalle, Dauern) • Gaussifizierung (Einsatzzeiten) • Clusterung, z.B. Zuweisung harmonischer Vektoren zu einzelnen Abschnitten (Takten)

10. 2. Ähnlichkeitsmaße Haupttransformationen - Beispiele • Original • Kontur (Steinbeck) • Kontur (M&F) • Rhythmisch gewichtet • Intervalle: +4 –2 +1 +1 +1 –3 +2 +3 • Intervallkategorien: +T –S +S +S +S –T +S +T • Intervallrichtung: U D U U U D U U • Ränge: 6. 3. 5. 4. 3. 2. 5. 3. 1. • Implizite Tonalität: D - Moll

11. 2. ÄhnlichkeitsmaßeNumerische Algorithmen • Vektormaße: Melodien und Rhythmen als Elemente eines geeigneten reellen Vektorraums (z.B. Pearson-Bravais-Korrelation, Skalarprodukt) • Symbolische Maße: Melodien und Rhythmen als Zeichenketten(z.B. Editierdistanz, N-Gramme)

12. 2. Ähnlichkeitsmaße Editierdistanz - Definition • Editierdistanz zwischen zwei Zeichenketten (Strings) sind die minimale Kosten für Operationen, die man braucht, um eine in die andere zu transformiern. • Mögliche Operationen sind: Einfügen, Löschen, Ersetzen • Jede Operation kann verschiedene Kosten haben. Einfachster Fall: Jede Operation kostet 1. • Maximale Editierdistanz: Länge des längeren Strings (für die konstante Kostenfunktion)

13. 2. Ähnlichkeitsmaße Editierdistanz - Beispiel „Anthropology“ (Charlie Parker) „Ornithology“ (Charlie Parker)

14. 2. Ähnlichkeitsmaße Editierdistanz - Beispiel • Ausrichtung von „Anthropology“ und „Ornithology“ • 2 Einfügungen (Löschungen) und 4 Ersetzungen werden gebraucht = insgesamt 6 Operationen. • Länge der längeren Melodie: 11 Noten. • Editierdistanz (rawEd): 1-6/11 = 5/11 = 0,4545...

15. 2. Ähnlichkeitsmaße N-gramme - Definition • N-gramme sind (Teil-)Strings der Länge N. • Benutzte Zeichenalphabete: Intervalle, Intervallrichtungen, Dauernklassen etc. • Maße werden gebildet durch den Vergleich von N-gramm-Verteilungen auf drei verschiedene Weisen: • Häufigkeitsmaß: Summe der Häufigkeiten gemeinsamer N-gramme (sum common) • Anzahlmaß: Anzahl gemeinsamer N-gramme (count distinct, coordinate matching) • Ukkonenmaß: Differenz der Häufigkeiten aller N-gramme

16. 2. Ähnlichkeitsmaße N-gramme – Beispiel • Keine gemeinsamen Intervall-N-Gramme! Ähnlichkeit = 0 • Intervallrichtungen (Parsonskode) von „Anthropology“: (U D U U U D U U ) • Intervallrichtungen von „Ornithology“: (UU U U U D U U D D) • Gemeinsame 3-gramme: (D U U), (U U D), (U U U) • Summe Häufigkeiten: (2+1) + (1+2) +(1+2) = 10 • nGrSumCo = 10/(9+11-2*(3-1)) = 5/8 = 0.625 nGrCoord = 3 / 4 = 0.75 nGrUkkon = 1 - 8/(9+11-2*(3-1)) = 1 –8/16 = 0.5

17. 2. Ähnlichkeitsmaße Vollständige Liste

18. 2. Ähnlichkeitsmaße Vollständige Liste

19. 3. ExperimenteParadigma • 3 Experimente: Variation im experimentellen Material (Melodien), Vpn., Bewertungsskalen, Dauer • Vorgehensweise: Einschätzung der Ähnlichkeiten von Paaren kurzer Melodien auf Bewertungsskala • Kontext I: Variantenkontext • Kontext II: Gemischter Kontext • Test–Retest Design mit Kontrollitems • Material: Popmusikmelodien und Varianten mit Manipulationen auf verschiedenen musikalischen Dimensionen zu verschiedenen Graden (eingebaute Fehler)

20. 3. ExperimenteResultate • Insgesamt 108 MuWi-Studenten; 40 mit stabilen und reliablen Urteilen blieben in der Auswertung Resultat: • Hypothesen bestätigt • Sehr hohe Intersubjektkorrelation (Cronbach‘s alpha = 0.962; 0.978) „Wahre“ melodische Ähnlichkeit • Starker Einfluss von Zahl und Typ der Fehler

21. 4. ModellierungVorgehen • „Indicator of fit“: Euklidische Distanzen zum Mw. der menschlichen Urteile • Auswahl der besten Maße von 5 Dimensionen (Tonhöhe/Intervalle, Kontur, Rhythmus, harmonischer gehalt, kurze Motive) • Lineare Regression mit den besten Maßen ‚Optimierte‘ Maße als gewichtete Kombination von Einzelmaßen

22. 4. ModellierungEuklidische Distanz zu den Vpn.-Urteilen Experiment 1

23. 4. ModellierungOptimierte Maße • Verschiedene optimierte Maße für verschiedene Beurteilungskontexte • Optimiertes Maß (opti1) für Variantenkontext (Kontext I): s = -0.151 + 0.559*rawEdw + 0.457*nGrCoord euklidische Distanz zum Vpn.-Urteilen: 3.789 (28.5% besser als bestes Einzelmaß)

24. 4. ModellierungOptimierte Maße

25. 5. AnwendungenVolkslieduntersuchung • Analyse von 585 Volkslieder aus Luxemburg und 435 aus Lothringen (ESAC Datenbank) mit dem opti3-Maß. • Verteilung von 254.910 Ähnlichkeitswerten: ‚Gutartig‘, aber Test auf Normalverteilung nicht signifikant.

26. 5. AnwendungenDubletten und Parodien • Untersuchung von 19 Lieder (Luxemburg), die als Varianten gekennzeichnet waren • 4 Lieder hatten denselben Text, aber alternative Melodien (Ähnlichkeiten<0.3) • Ein Lied hatte kein Original (Fehler des Sammlers?) • Von den 14 übrigen Lieder hatten 8 eine Ähnlichkeit >0.8, 2 zwischen 0.7 und 0.8 und 3 zwischen 0.6 und 0.7 zu ihrem Original. • Untersuchung von 49 Paaren mit Ähnlichkeitswerten >0.6 • Dubletten: 37 Paare • Parodien: 10 Paare • ‚Psalme‘: 2 Paare

27. 5. Anwendungen Ein Beispiel T0262 –‘Ist denn Liebe ein Verbechen?‘ T0385 -‘Ehestandslehren‘

28. 5. Anwendungen Ein Beispiel • Struktur • Zwei 4-taktige Phrasen • Nur 2 verschiedene rhythmische Muster • Die 1. Phrasen unterscheiden sich stark in der Kontur, die 2. Phrasen sind eher ähnlich. • Ähnlichkeitswerte:

29. 6. Zusammenfassung • Sehr hohe Korrelation zwischen den Ähnlichkeitsurteilen der Experten. • Optimierung als lineare Kombination von Einzelmaßen ist möglich signifikant bessere Resultate. • Maße und ihre Gewichte hängen vom Aufgabenkontext ab. • Anwendungen für opt. Ähnlichkeitsmaße: • Automatische Strukturierung von großen Melodiesammlungen (z.B. Volkslieddatenbanken) • Melodiesuche in Datenbanken (z.B. Qbh) • Plagiatserkennung • Etc.

30. Melodische Ähnlichkeit Daniel Müllensiefen & Klaus Frieler Symbole&Signale Hamburg WS 04/05, 7.1.2005

31. Similarity measures Edit distance - Example ED (ANTHROPOLOGY, ORNITHOLOGY) • Suffix OLOGY is same, no costs. Consider ANTHROP and ORNITH • Add ROP at end of ORNITH: ORNITHROP, costs 3 • Delete R and I: ONTHROP, costs 2 • Substitute O with A: Ready, costs 1 • Total costs: 6 • Normalization: Divide by length of longer strings: len(ANTHROPOLOGY) =12 • Result: ED = 0.5

32. Similarity measures N-grams - Example Sum-Common-measure (4-grams) SC(s=ANTHROPOLOGY, t=ORNITHOLOGY) • Only two common 4-grams : OLOG und LOGY, once each. • Sum-Common(4-grams) = 1 +1 +1 +1 = 4 • Normalization: len(s)+len(t)-2*(4-1)=12+11-6 =17 • SC = 4/17~0.235

33. Similarity measures Accent similarity measures • Idea: Accented notes are more important for similarity judgements • Determine accent structures of 2 melodies and compare them • ‚True‘ accents combine accents from different dimensions (pitch, rhythm, harmony etc.) • Construction of joint accent measures: • Segment melodies in phrases • Give accents to melodies according to 25 rules from the literature (Thomassen, 1982; Povel & Essens, 1985; Boltz & Jones, 1986) • Compare output of rules to human similarity data and combine best rules to joint accent measures • Choose best comparision technique for accent structures

34. Accent similarity List of accent rules

35. Accent similarity List of combined accent measures