“Music Information Retrieval - AUDIO”

1. “Music Information Retrieval - AUDIO” Antonello D’Aguanno daguanno@dico.unimi.it http://www.lim.dico.unimi.it/didatt/materiali/mir1.ppt

2. MIR(Music Information Retrieval) DEFINIZIONE: Area di ricerca multidisciplinare che coinvolge esperti in vari campi scientifici (informatici, fisici e altri), ma anche umanistici e musicali (musicologi, storici e altri). SCOPO: Permettere una maggiore interazione e fruibilità dell’informazione musicale.

3. MIR MOTIVAZIONI: • Con l’introduzione dei formati audio compressi è enormemente cresciuto il numero di titoli presenti nelle varie collezioni • All’aumento del numero di titoli disponibili non ha fatto seguito un relativo aumento nella gestione dei brani • Il mercato musicale si sta frammentando dall’album al singolo brano

4. Architettura MIR

5. MIR e EMD (1) Necessario distinguere 2 diverse tipologie di sistemi: • MIR: Hanno lo scopo di fornire all’utente informazioni su brani conosciuti o sconosciuti, permettendo un’ interazione “rapida” con il contenuto musicale. • EMD (Electronic Music Distribution) : Sistemi per la distribuzione (vendita) di musica digitale, il loro scopo ideale è riuscire a fornire (vendere) ad ogni utente la musica che preferisce. In poche parole: • MIR  CONOSCENZA • EMD  VENDITA

6. MIR e EMD (2) Tipiche domande a cui dovrebbe poter rispondere un sistema MIR: • Esempi di problematiche inerenti il singolo brano: • Sai dirmi il titolo di quel brano che fa… • Quante cover sono state fatte del brano… • Esiste una versione live del brano… • Esempi di problematiche legate ad intere compilation: • Avrei bisogno di creare una compilation con brani melodici • Per Natale vorrei un album con dei brani a tema • Vorrei tutti i brani in cui è presente la “tromba marina”

7. MIR e EMD (3) Finalità di un sistema EMD: • Attualmente il mercato della musica conta su oltre 10.000.000 di titoli (dati 2004) • Virtualmente ogni utente Internet può essere considerato un possibile fruitore di musica • Gli utenti Internet superano i 600 milioni e continuano a crescere • Come rendere accessibile questa grande quantità di dati al grande pubblico?

8. EMD Problematiche EMD: • Dei 10 milioni di titoli presenti realmente solo l 1% è considerato realmente “attivo” • I titoli “attivi” sono realmente i “migliori”? • In un sistema ideale ogni utente dovrebbe trovare la musica che vuole realmente ascoltare, indipendentemente dalle conoscenza che ha!

9. Esempi di Sistemi EMD Amazon’s MP3 Store 1 solo campo di ricerca 2 sole modalità di ricerca

10. Funzionamento di Amazon • DataBase contenente i meta-dati “basilari” (artista-titolo-album) alimentato “non tramite analisi dei contenuti” • Query dell’utente legate a questo set di meta-dati • Raccomandazioni automatiche del sistema legate alle preferenze degli utenti precedenti PROBLEMA! I titoli più “raccomandati” saranno sempre quelli aventi maggior “successo” ovvero i più noti e famosi che raccolgono il maggior numero di click.

11. Esempi di Sistemi MIR Last.fm / Pandora (music recommender) Valutazione positiva Valutazione negativa Inizio della Navigazione

12. Funzionamento di Last.fm / Pandora DataBase contenente oltre 100 meta-dati per ogni canzone relativi ai contenuti (in Pandora si parla di Music Genome) alimentato da ascoltatori esperti Query dell’utente legate ad un brano/artista di partenza. Il sistema tramite analisi/confronto dei metadati considerati propone la canzone successiva L’utente può accettare o meno la raccomandazione. Il sistema ne terrà conto per le scelte successive PROBLEMA! Quanto costa far ascoltare i brani agli esperti? Cosa accade in caso di errore di Compilazione? (es. Exodus su last.fm)

13. Esempi di Sistemi MIR MiDoMi (Query by Humming) Inizio navigazione tramite tastiera Inizio della navigazione tramite Voce Navigazione per associazione

14. Funzionamento di MiDoMi DataBase contenente per ogni canzone i comuni meta-dati e una serie di registrazioni degli stessi utenti che cantano il brano in esame Il sistema confronta il brano cantato dall’utente con il DB e seleziona i brani più simili proponendoli all’utente L’utente individua il brano corretto tra quelli proposti dal sistema PROBLEMA! Cosa accade in caso un utente registri una canzone sbagliata? L’utente medio è in grado di valutare la qualità del suo cantato?

15. MIR e EMD (4) In generale possiamo distinguere 2 diversi scenari d’uso legati a questo tipo di sistemi: SCENARIO 1 • L’utente vuole navigare all’interno del sistema per accrescere le proprie conoscenze musicali SCENARIO 2 • L’utente vuole avere una risposta esauriente ad una domanda specifica

16. Amazon e Last.fm Rispetto agli scenari precedenti: Last.fm è focalizzato sullo scenario 1: un utente naviga all’interno del DB ascoltando brani proposti automaticamente, dando dei pareri sulle selezioni per istruire l’algoritmo di scelta dei brani. Molto difficile selezionare uno specifico brano. Amazon è focalizzato sullo scenario 2: un utente ha a disposizione dei parametri di ricerca molto stringenti per trovare in fretta ciò di cui ha bisogno. Molto difficile navigare nel sistema.

17. MidoMi MiDoMi è focalizzato sullo scenario 2: • un utente ha a disposizione dei parametri di ricerca testuali e per contenuti (humming) per trovare in fretta ciò di cui ha bisogno. • Poco utile navigare nel sistema. In realtà si naviga tra varie registrazioni fatte da altri utenti • Primo esempio di sistema di ricerca per contenuti

18. Funzionamento dei Sistemi Esistenti I sistemi presentati sono tutti basati su meta-dati: • Compilati dagli utenti • Estrapolati tramite inferenza • Non viene eseguita nessunaanalisi sui contenuti audio del brano musicale

19. Hard-Way e Easy-Way (1) Due diverse possibilità per gestire l’informazione musicale: • Easy Way • Le informazioni sui contenuti musicali possono essere generati tramite l’analisi compiuta da esperti • Le relazioni tra i brani possono essere ottenuti tramite inferenza dal comportamento degli utenti In generale non viene eseguita nessuna analisi sui contenuti audio del brano musicale

20. Hard-Way e Easy-Way (2) Due diverse possibilità per gestire l’informazione musicale: • Hard Way • Le informazioni sui contenuti musicali sono generati tramite l’analisi compiuta da algoritmi di DSP • Le relazioni tra i brani sono anche loro ottenute tramite il risultato degli algoritmi di analisi In generale non sono necessari interventi umani per la comprensione dei contenuti del brano musicale

21. Hard-Way e Easy-Way Vantaggi e Svantaggi

22. Comprensione dell’informazione

23. Comprensione Tutti i problemi e le informazioni contenute in un segnale musicale sono ben definite? Alcune si, altre no, altre solo in parte Qualche esempio legato all’immagine precedente • durata, spettro, pitch, timbro Ben definite • armonia, bpm, dinamica, ritmo Parzialmente definite • genere, mood, similarità Poco definite

24. Sincronizzazione Stream Audio Partitura sincronizzata Sincronizzatore Partitura • Navigazione coerente audio partitura • Ambito di ricerca affrontato nel MIR • Soluzioni proposte solo su stream audio non compressi