Recuperação Inteligente de Informação de Músicas

1. Recuperação Inteligente de Informaçãode Músicas Uraquitan Sidney Cunha

2. Roteiro • Introdução • Recuperação de Informação de Músicas • Motivações • ISMIR, IMIRSELe MIREX • Importantes Áreas de Pesquisa e Aplicação da MIR • Aplicações de MIR • Doutorado • Conclusão

3. Recuperação de Informação de Músicas • A RI de músicas é um desafio a ser superado com grande produção científica em todo o mundo • A complexidade se justifica pela natureza da atividade • Quando realizada por seres humanos, envolve processos cognitivos e de aprendizagem que não têm seus limites muito claros até mesmo para especialistas

4. Recuperação de Informação de Músicas • Atualmente diversas subáreas de RI de músicas têm sido objeto de pesquisas, e a cada ano diversas novas técnicas são propostas • Juntas elas tentam maximizar o poder da recuperação da informação MELODIA ACORDES SEGMENTAÇÃO MÚSICA BEATS FREQUÊNCIAS COMPASSO

5. Motivações • As principais motivações envolvem: • Demandas por softwares educativos na área de música • Demandas da indústria e comércio que lida com recomendações de estilos musicais • Demandas da indústria de equipamentos de áudio musical que pretendem dar sempre maior suporte aos músicos • ...

6. ISMIR – The InternationalSociety for Music InformationRetrieval • Sociedade internacional de pesquisa sobre recuperação de dados e informações relacionados com música (MIR – Music InformationRetrieval) • Grupo informal que estabeleceu um comitê organizador de um simpósio no ano de 2000 • InternationalSymposiumon Music InformationRetrieval • Em 2002 formalizou-se se tornando uma conferência chamada ISMIR

7. ISMIR – The InternationalSociety for Music InformationRetrieval • O objetivo da ISMIR: • Espaço para a troca de notícias, ideias, apresentação de projetos de pesquisa • A conferência busca atender as demandas do meio acadêmico e das indústrias de informação e entretenimento • A música digital e seus metadados são cada vez mais abundantes

8. ISMIR – The InternationalSociety for Music InformationRetrieval • MIR é uma área interdisciplinar • Musicologia, Ciência Cognitiva, Ciência da Informação, Ciência da Computação, entre outras • A conferência da ISMIR reuni pesquisadores, desenvolvedores, educadores, estudantes e usuários profissionais, de áreas deste domínio multidisciplinar

9. IMIRSEL - International Music Information Retrieval Systems Evaluation Laboratory • O IMIRSEL, localizado na Escola de Pós-Graduação em Biblioteconomia e Ciência da Informação (GSLIS) da Universidade de Illinois (UIUC), atualmente chefiado pelo professor J. Stephen Downie, tem os seguintes objetivos:. • Definir métricas que permitam a validação e comparação das técnicas emergentes sobre MIR • Criação e disponibilização de materiais de música, e de metadados de músicas.

10. MIREX - Music InformationRetrievalEvaluationeXchange • Competição entre várias categorias de algoritmos de MIR • Objetiva a comparação do estado da arte de algoritmos e sistemas relevantes para MIR. • O IMIRSEL é o principal organizador do MIREX • Normalmente acontece durante a realização do ISMIR • A seguir descreveremos cada uma das áreas de MIR que têm sido testadas com algoritmos submetidos a métricas previamente estabelecidas durante o MIREX

11. Importantes Áreas de Pesquisa e Aplicação da MIR • Audioclassification • Audio cover identification • Audio Music Similarity and Retrieval • Audio Music Similarity and Retrieval • Audio Onset Detection • Audio Key Detection • Query by Singing/Humming • Audio Melody Extraction • Multiple Fundamental Frequency Estimation & Tracking • Audio Chord Estimation • Structural Segmentation • Audio Tempo Estimation • Audio Beat Tracking

12. Audio Classification • Esta tarefa tem como objetivo a identificação de estilos musicais e até estilos de compositores • No MIREX, as tarefas são testadas por grandes grupos: • Identificação de compositores clássicos: Bach, Beethoven, Brahms, Chopin, Dvorak, Handel, Haydn, Mendelssohn, Mozart, Schuberte Vivaldi • Identificações de Estilos de Música Pop: Blues, Jazz, Country/Western, Baroque, Classical, Romantic, Electronica, Hip-Hop, Rock, HardRock/Metal • Identificações de Estilos de Música Latina: Axe, Bachata, Bolero, Forro, Gaucha, Merengue, Pagode, Sertaneja, Tango

13. Audio ClassificationMelhoresResultadosem 2012 • Algoritmobaseadoem Support Vector Machine nos dois primeiroslugares • Acertosem 76% e 75%

14. Audio Cover Identification • Esta tarefa avalia algoritmos que tentam identificar se um dado arquivo de áudio pode ser visto como uma representação “cover” de uma outra composição • A ideia é a de que um algoritmo possa receber vários arquivos de áudio e ranqueá-los de acordo com suas semelhanças com um dado banco de canções • No banco de canções existem diferentes versões de cada canção

15. Audio Cover IdentificationMelhorResultadoem 2012 • Algoritmobaseadonasmedidas de similaridade entre partes do audio através da comparação dos centróides dos vetorescroma de parte do audio • Acertospróximos de 62,5%

16. Audio Music Similarity and Retrieval • Um sistema de similaridade musical pode ajudar às pessoas que lidam com música a encontrar novas músicas que se encaixem por similaridade com outras determinadas músicas. • Os algoritmos costumam ser implementados por gêneros musicais: Blues, Jazz, Country/Western, Baroque, Classical, Romantic, Electronica, Hip-Hop, Rock, HardRock/Metal

17. Audio Music Similarity and RetrievalMelhorResultadoem 2012 • Algoritmo que extrai de uma canção as características de áudio sobre timbre, tempo e ritmo e calcula a distância das mesmas em relação as mesmas características de outras canções • Acertos próximos de 64%

18. Symbolic Melodic Similarity • O objetivo desta tarefa é comparar algoritmos que trabalham para verificar o grau de similaridade entre as melodias presentes em arquivos simbólicos de áudio (MIDI) • Os algoritmos recebem um arquivo simbólico de áudio e compara o mesmo com um banco de arquivos, retornando um ranking dos mais similares

19. Symbolic Melodic SimilarityMelhorResultadoem 2012 • O melhor algoritmo utiliza técnicas de PPM (PredictionbyPartialMatching) • Acertos em média de 60%

20. Audio Onset Detection • Esta tarefa tem como objetivo analisar algoritmos capazes de encontrar os locais dos eventos sônicos em um arquivo de áudio • Para este tipo de tarefa, que é normalmente feita em aplicações dedicadas a um único tipo de sinal de áudio, a base de arquivos é dividida em classes • Bateria tocando, um instrumento de solo, etc.

21. Audio Onset DetectionMelhorResultadoem 2012 • Algoritmo baseado em redes neurais recorrentes e bidirecionais do tipo Long Short TermMemory • Acertos em 85%

22. Audio Key Detection • A determinação do tom de uma música é uma informação extremamente importante para a análise da música ocidental • Esta tarefa analisa e compara algoritmos capazes de identificar o tom de canções • Para esta tarefa, são analisadas pelos algoritmos apenas os 30 segundos iniciais de cada arquivo do banco de dados de canções.

23. Audio Key DetectionMelhorResultadoem 2012 • Algoritmo baseado na extração cromagrama através da DFT em arquivos de áudio clipados entre as frequências de 100 e 2000hz • Acertos em 82%

24. Query by Singing/Humming • O objetivo desta tarefa é avaliar sistemas de MIR que recebem como entrada áudios de pessoas cantando e que tentam identificar corretamente as notas que estariam sendo executadas pelos cantores

25. Query by Singing/HummingMelhorResultadoem 2012 • Algoritmo baseado em Earth Mover’sDistance(EMD) e Dynamic Time Warping (DTW) • Acertos em 96%

26. Audio Melody Extraction • O objetivo desta tarefa é avaliar a capacidade de sistemas de MIR na extração da frequência fundamental da voz de uma melodia sendo executada. • A tarefa normalmente se divide e detectar a voz e em seguida, a frequência fundamental

27. Audio Melody ExtractionMelhorResultadoemm 2012 • Algoritmo baseado na segmentação do áudio em pequenos clusters seguida da identificação da frequência fundamental predominante nos mesmos • Acertos em 68%

28. Multiple Fundamental Frequency Estimation & Tracking • O objetivo desta tarefa é avaliar sistemas capazes de identificar as frequências fundamentais (F0) de cada frame de um sinal de áudio. • A identificação da F0 de um sinal de áudio é muito importante para muitas tarefas de MIR, pois ela pode ajudar muita na identificação de notas musicais e timbres em sinais complexos.

29. Multiple Fundamental Frequency Estimation & TrackingMelhorResultadoem 2012 • Algoritmo baseado na análise da transformada de Fourrier STFT com identificação de predominância de frequências através de um algoritmo de extração de pitch • Acertos em 64%

30. Audio Chord Estimation • Esta tarefa avalia sistemas de MIR que tentam extrair e transcrever a sequência de acordes de um arquivo de áudio. • Para muitas aplicações de MIR algoritmos com bons resultados nesta tarefa podem ajudar em muitos aspectos, tais como análise semântica de áudio, segmentação e busca por blocos similares do arquivo de áudio, entre outras tarefas. • Esta tarefa envolve a identificação completa de cada acorde (nota, tipo e duração), bem como sua localização na música.

31. Audio Chord EstimationMelhorResultadoem 2012 • Algoritmo baseado em aprendizagem com um algoritmo de HMM (HiddenMarkovModel) pré-processado com filtros passa baixa entre 220hs e 1661hz • Acertos em 72%

32. Structural Segmentation • Esta tarefa busca avaliar sistemas de MIR que são capazes de identificar as estruturas das seções ou segmentos em canções. Estes segmentos são representados pelas estrofes e refrões • Estas estruturas definem um dos mais importantes parâmetros da música, sobretudo ocidental

33. Structural SegmentationMelhorResultadoem 2012 • Algoritmo que extrai o vetor PCP (PitchClass Profile) de segmentos de uma canção e monta um algoritmo recorrente de análise de repetições de padrões de PCP´s • Acertos em 77%

34. Audio Tempo Estimation • Esta tarefa tem como objetivo avaliar sistemas de MIR que sejam capazes de identificar o tempo ou compasso de canções diversas. • Esta não é uma tarefa fácil, até mesmo porque diferentes ouvintes (inclusive experientes) podem ter diferentes visões do tempo de uma mesma música

35. Audio Tempo EstimationMelhorResultadoem 2012 • Algoritmo que propõe novas técnicas capazes de determinar o pulso de uma canção tomando técnicas que extraem o LLFT (LowLevelFeaturesTempogram) • Acertos em 78%

36. Audio Beat Tracking • O principal objetivo desta tarefa é identificar os “beats” de um arquivo de áudio. • A identificação deve ser do momento em que o mesmo ocorre • É importante que fique claro que esta tarefa não é a mesma que é feita na tarefa de Audio Tempo Extraction, que tem como objetivo identificar o tempo ou compasso de cada sinal de áudio. O “beat” define o ritmo e velocidade de cada música.

37. Audio Beat TrackingMelhorResultadoem 2012 • Algoritmo baseado em aprendizagem com HMM (HiddenMarkovModels) • Acertos em 57%

38. Aplicações de MIR • SonicVisualizer • www.sonicvisualiser.org/ • IChords • www.daccordmusic.com • Musipedia • www.musipedia.org/‎ • Peachnote • www.peachnote.com/‎

39. Doutorado • Propor técnicas que possam melhorar a performance dos algoritmos de classificação de acordes • A ideia é trabalhar no pós processamento do áudio acrescentando informações de contexto que possam diminuir os erros dos algoritmos existentes

40. Conclusão • Vimos aqui uma breve introdução da área de MIR • As principais subáreas de pesquisa de MIR foram explanadas • Foram destacados os enfoques das principais pesquisas nestas subáreas e seus resultados foram identificados • Vimos alguns exemplos de aplicações • Área ainda tímida devido ainda ao nível dos resultados

41. Recuperação Inteligente de Informaçãode Músicas Perguntas?