Segmentierung

1. Segmentierung Anfang des Segmentierungssegments Klaus Frieler Symbole&Signale Hamburg WS 04/05, 14.1.2005

2. Aufbau • Einleitung • Lerdahl & Jackendoffs GTTM • D.Temperleys Modell (Grouper) • E. Cambouropoulos LBDM • Was noch? • Zusammenfassung/Ausblick

3. EinleitungBegriff der Gruppierung • Vorbemerkung: Wir reden im Folgenden ausschließlich über monophone Melodien • Musiktheorie, eigene Hörererfahrung und perzeptive Studien machen klar, dass Melodien i.A. als Abfolge von einzelnen Gruppen gehört wird. • Die Zerlegung einer Melodien in einzelne Gruppen heißt Segmentierung. • Segmentierung wird heutzutage als unabhängig von Metrik angenommen.

4. EinleitungBegriff der Gruppierung • Segmentierung ist i.A. hierarchisch • Klassische Musiktheorie spricht von Motiven, Untermotiven, Phrasen, Satzperioden, Abschnitten bis hin zu großen Formteilen wie Exposition, Durchführung, Reprise etc. • Aber: Inter- und intrasubjektive Varianz: „Richtige“ Gruppierung schwer zu definieren. Oft mehrdeutig.

5. Einleitung Gestaltpsychologie • Die Gruppierung von Einzelementen zu Gestalten ist allgemeines Wahrnehmungsphänomen • In dieser Form erforscht von den Gestaltpsychologen Anfang des 20.Jhd. • Wichtige Gestaltpsychologen: Wertheimer, Koffka, Köhler • Direkte Linie zu Stumpf, Wundt, von Ehrenfels • Gestalttheorie schon immer stark musikalisch orientiert.

6. Einleitung Gestaltpsychologie • Was ist eine Gestalt?! • Ein unscharfer aber intuitiv klarer Begriff • Ein zusammenhängendes Ganzes • Mehr als die „Summe“ seiner Teile • Eine (quasi) autonome Leistung des Wahrnehmungsapparates • Gestalten kann man anhand von Gestaltregeln aus den Einzelkomponenten deduzieren.

7. Einleitung Gestaltregeln • Prinzip der Nähe • Objekte in der Nähe werden eher gruppiert • Prinzip der Ähnlichkeit/Gleichheit • Ähnliche Objekte werden eher gruppiert • Prinzip des gemeinsamen Schicksals • Objekte mit gleichartigen Dynamik werden eher gruppiert • Prinzip der guten Fortsetzung • Die einfachste Fortsetzung ist die Beste • Prinzip der Geschlossenheit • ?? • Prinzip der guten Gestalt/Prägnanz • Bevorzuge prägnante Gestalten (Kombination obiger Prinzipien)

8. 2. GTTM • Lerdahl&Jackendoff veröffentlichen 1983 einflussreiches Buch: A Generative Theory of Tonal Music (GTTM) • Kombination von Musiktheorie, Linguistik, Kognitions/Gestaltpsychologie zu einem formalen Regelsystem der Musikanalyse • Gegenstand: Gruppierung, Metrik, Zeitspannenreduktion, Prolongation • Zwei Regeltypen: • Wohlgeformheitsregeln (well-formedness) • Vorzugsregeln (preference rules)

9. 2. GTTM Wohlgeformtheitsregeln • GWFR 1: Eine Gruppe ist eine zusammenhängende Folge von musikalischen Ereignissen. • GWFR 2: Die ganze Melodie bildet eine Gruppe. • GWFR 3: Eine Gruppe kann kleinere Gruppen enthalten. • GWFR 4: Wenn eine Gruppe einen Teil einer anderen Gruppe enthält, so muss sie die Gruppe als Ganzes enthalten. • GWFR 5: Untergruppen müssen eine Gruppe erschöpfen.

10. 2. GTTM Wohlgeformtheitsregeln • Anderes gesagt: Eine Melodie zerfällt in eine erschöpfende, nicht-überlappende Hierarchie von Gruppen. • In einer Zusatzregeln lassen L&J Gruppenüberlapp von einem Ton zu (motiviert durch zahlreiche Beispiele aus der Musikliteratur) • Die Wohlgeformtheitsregeln sind notwendig, aber nicht hinreichend Vorzugsregeln

11. 2. GTTM Vorzugsregeln • GPR 1: Vermeide sehr kleine Gruppen, insbeondere einelementige. Sei n1n2n3n4 eine Folge von Noten. • GPR 2:(Zeitliche Nähe)Zwischenn2 undn3 kann eine Gruppengrenze liegen , falls: a)(Bindebogen/Pause) zwischen n2n3 das größte OOI oder b)(Einsatzpunkt) zwischen n2n3 das größte IOI liegt

12. 2. GTTM Vorzugsregeln • GPR 3: (Veränderung)Zwischenn2 undn3 kann eine Gruppengrenze liegen , falls: a)(Register) zwischen n2n3 das größte Intervall liegt, oder b)(Dynamik) zwischen n2n3 ein Lautstärkewechsel stattfindet, oder c)(Artikulation) ein Artikulationswechsel, oder d)(Dauern) ein Dauernwechsel

13. 2. GTTM Vorzugsregeln • GPR 4: (Intensivierung)Lege Großgruppengrenzen an den Stellen, wo die Effekte von GPR 2&3 am deutlichsten sind. • GPR 5: (Symmetrie)Bevorzuge Gruppierungen mit Untergruppen möglichst gleicher Länge. • GPR 6: (Parallelität) Wenn 2 oder mehr Segmente als parallel (sprich: ähnlich) angesehen werden können, formen sie vorzugsweise parallele Teile einer Gruppe.

14. 2. GTTM Beispiel • Anfangsthema von W.A. Mozarts Sinfonie Nr.40 (g-Moll, KV 550), Regeln und mögliche Gruppierung

15. 2. GTTM Diskussion • Nicht quantifiziert bzw. operationalisierbar, d.h. schwer testbar und nicht rechnertauglich. • Sehr vage Parallelitätsregel. • Per definition gebunden an westlicher tonale Musik.

16. 3. Temperleys Modell • Beschrieben in The Cognition of Basic Musical Structures (2001) • Basiert auf vereinfachten/modifizierten GTTM-Regeln • Modell ist operationalisiert und implementiert in der Software Grouper, Teil des frei erhältlichen Softwarepakets Melisma (s. Link auf Webseite) • Modell ist recht erfolgreich.

17. 3. Temperleys Modell • Vermeidet Probleme nichteindeutiger oder polyphoner Gruppierung durch explizite Beschränkung auf einstimmige Volkslieder als Evaluationsmaterial • Beschränkt sich auf nur eine Ebene der Segmentierung, die Phrasenebene. • Sehr einfaches Modell mit nur 3 Vorzugsregeln (Phrase Structure Preference Rules)

18. 3. Temperleys Modell • PSR 1:(Lückenregel) Setze Phrasengrenzen bevorzugt an Stellen mit • großem IOI oder • großem OOI • Bewertung (gap score): IOI+OOI (normalisiert durch mittleres IOI bis dahin)

19. 3. Temperleys Modell • PSR 2:(Längenregel) Bevorzuge Phrasen mit ungefähr 8 Noten. • Bewertung: -|log2(N/8)| (Bestrafung)

20. 3. Temperleys Modell • PSR 3:(Metrische Parallelität) Bevorzuge aueinanderfolgende Phrasen, die auf derselben Taktzeit beginnen. • Bewertung: Bestrafung bei nicht Parallelität auf Halbtakt- und Taktlevel (genaue Werte nicht bekannt...)

21. 3. Temperleys Modell • Alle drei Regeln werden gegeneinander gewichtet (Gewichte durch trial-and-error ermittelt, nicht dokumentiert) • Die optimale Lösung wird aus den Gesamtwerten an jeder Stelle durch Dynamische Programmierung ermittelt.

22. 3. Temperleys ModellBeispiel • Lückenwerte (gap score)

23. 4. Cambouropoulos‘ LBDM • Beschrieben in „Towards a General Computational Theory of Musical Structure.“ (Diss., 1998) • LBDM = Local Boundary Detection Model („Lokales Grenzerkennungs Modell“) • Basiert im Prinzip auf Gestaltregeln. • Jedem Zwischenraum zwischen zwei Noten wird eine Grenzstärke zugeordnet. • Umfasst die meisten GTTM Regeln (GPR 2&3)

24. 4. Cambouropoulos‘ LBDM • LBDM beruht auf dem verallgemeinerten Prinzip von Gleichheit/Verschiedenheit, dass die Gestaltprinzipien Ähnlichkeit und Nähe (im Prinzip) ersetzen kann. • LBDM hat 3 Regeln die Differenzen musikalischer Parameter nach Gleichheit/Verschiedenheit werten. • Gruppengrenze an lokalen Maxima der Grenzstärken

25. 4. Cambouropoulos‘ LBDM • G-ICR: (general identity-change rule) Gruppengrenzen können nur zwischen verschiedenen Entitäten liegen. • Bewertung: 2 Punkte (für intrinsischer nicht-abgleiteter Eigenschaften, z.B. Dauer)

26. 4. Cambouropoulos‘ LBDM • ICR: (identity-change rule) Jedes Intervall zwischen 3 benachbarten Objekten kann ein Gruppengrenze sein, falls die Intervalle verschieden sind. • Bewertung: 1 Punkt für jedes Intervall.

27. 4. Cambouropoulos‘ LBDM • PR: (proximity rule) Bilden drei Objekte zwei Intervalle die verschieden sind, dann wähle das größere Intervall als Gruppengrenze. • Bewertung: 1 Punkt für‘s größere Intervall.

28. 4. Cambouropoulos‘ LBDMBeispiel • Seien drei Töne zu den Zeitpunkten t1, t2, t3 mit Intervallen D1 = t2-t1 und D2 = t3-t2 gegeben. Dann kann gelten: • D1 = D2 (0): P1 = P2 = 0 • D1 > D2 (+): P1 =1(ICR)+1(PR)+2(G-ICR) = 4 P2 =1(ICR)+0(PR) = 1 • D1 < D2 (-): P1 =1(ICR)+0(PR)+2(G-ICR)= 3 P2 =1(ICR)+1(PR) = 2

29. 4. Cambouropoulos‘ LBDMBeispiel • Grenzstärken aus 4 Dimensionen für Anfang g-Moll Sinfonie (WAM)

30. 5. Was noch? • Tenney&Polansky (1980), Erstes computationelles Modell • Sven Ahlbäck (2004): Komplexes Regelsystem (vereinigt viele Ideen aus GTTM, Temperley, Cambouropoulos etc.) • Rens Bod (~1999): Data-Oriented Parsing (DOP) Gedächtnisbasiertes Lernen von Phrasengrammatiken. • Weyde/Dahlingshaus(~2001): Neuro-fuzzy System. (Lernt Gewichte für Fuzzy-Gruppierungsregeln mit Hilfe von neuronalen Netzen) • Vergleichende Studie von Höthker/Spevak/Thom ergab leicht bessere Performance für Temperley über LBDM. • Was gibt unser Experiment?

31. 6. Zusammenfassung • Segmentierung von Melodien ist wichtiger und integraler Bestandteil der Melodiewahrnehmung. • Segmentierung nicht eindeutig. • Automatische Segmentierung wichtig für viele Anwendungen. • Fast alle Segmentierungsalgorithmen basieren in irgendeiner Form auf Quantifizierung von Gestaltregeln.

32. Segmentierungs Ende des Segmentierungssegments Klaus Frieler Symbole&Signale Hamburg WS 04/05, 14.1.2005