150 likes | 316 Views
Optičko prepoznavanje glazbenog crtovlja. Dragan Lesić Bojan Oblučar. Optičko prepoznavanje glazbenih nota (OMR). Prevođenje notnog zapisa u elektronički oblik i smještanje u korisniku razumljiv kontekst Niz manjih procesa analize i obrade podataka: - prilagodba slike za obradu
E N D
Optičko prepoznavanje glazbenog crtovlja Dragan Lesić Bojan Oblučar
Optičko prepoznavanje glazbenih nota (OMR) • Prevođenje notnog zapisa u elektronički oblik i smještanje u korisniku razumljiv kontekst • Niz manjih procesa analize i obrade podataka: - prilagodba slike za obradu - otklanjanje šuma - ekstrakcija superponiranih objekata - prepoznavanje elemenata sa slike - usporedba s postojećom bazom podataka - klasifikacije elemenata u razrede
Predprocesiranje ulaznih podataka • Ulaz: slika u RGB formatu koja je skenirana, uslikana fotoaparatom, mobitelom itd. • Problem: nakrenutost slike, svijetla i tamna područja, niska rezolucija, loša preglednost. • Obrada: označiti područje od interesa i otkloniti šum. • Detekcija elemenata: glazbeno crtovlje i note • Na temelju nakrenutosti crtovlja od ravnine možemo saznati nakrivljenost slike • Ekstrakcija superponiranih elemenata
Ekstrakcija glazbenog crtovlja i nota • Odvojiti note i ostale pomoćne oznake od glazbenog crtovlja • Zapis nije savršen: linije su nejednolike debljine (staff line height), međusobno su neravnomjerno udaljene (staff space height), zakrivljene itd. • Potrebno je ekstrahirati crtovlje bez zadiranja u ostale elemente. • Moguće je rasporediti elemente glazbenog zapisa u dvije skupine ovisno o njihovom položaju: • horizontalno posloženi elementi: glazbeno crtovlje • Vertikalno posloženi elementi: note
Ekstrakcija glazbenog crtovlja i nota • Dvodimenzionalni waveleti • Uklanjanje šuma • Dekompozicija slike na 3 sastavna dijela u više željenih razina: - horizontalno - vertikalno - dijagonalno • Baš ono što nam treba! Sad možemo rastaviti sliku i odovjiti komponente
Wavelet analiza Wavelet razlaganje Haar, nivo 1 uklanjanje šuma metodom praga maskiranje
Detekcija linija Druga derivacija (idealni slučaj)
Utjecaj rezolucije Visoka rezolucija 1110x1440 Niža rezolicija 771x1000
Zaključak • waveletanaliza pomaže pri detekciji glazbenih linija na način da se koristi kao alat za pretprocesiranje. Tako se može smanjiti šum na slici koji često utječe na krive rezultate detekcije • može se koristiti za uklanjanje glazbenih simbola različitih od notnog crtovlja (note, tekst, oznake) • Rezultat pretprocesiranjapomoću waveletamože se koristiti na razne načine kako bi se povećala točnost detekcije • na rezultat detekcije također utječe rezolucija analizirane slike.