Geração Automática de Acompanhamento Rítmico para o Violão: O Estudo de Caso Cyber-João

1. Geração Automática de Acompanhamento Rítmico para o Violão: O Estudo de Caso Cyber-João Márcio Leal de Melo Dahia Orientador: Geber Ramalho Co-orientador: Carlos Sandroni

2. Motivação: O Violão Popular • Forma tradicional de tocar MPB: voz-e-violão

3. D´Accord Violão: Acompanhamento Rítmico • A partir do teclado do computador • Liberdade ao usuário • Trabalhoso • Aplicando padrões rítmicos em toda a música • Pouco trabalhoso • Sem qualidade • Violão MIDI • Pouco acessível Mão direita Mão esquerda

4. Objetivos • Construir um sistema de geração automática de acompanhamento rítmico para violão • Fácil • Rico

5. Roteiro da Apresentação • O problema da geração de ritmos • Estado da Arte • Abordagem • Resultados • Conclusões

6. Sistemas de Acompanhamento Automático (SAA) • Dados • Estilo musical • Grade de acordes • O que o sistema já tocou • Melodia+outros instrumentos • Cria uma “linha musical” • Melódica, harmônica ou rítmica

7. Dificuldades • Modelagem de Agentes • Ambiente Complexo: dinâmico, não-determinístico, contínuo, não episódico e “acessível” • Objetivos: não são claros • Formalização do conhecimento • Pouca explicação das escolhas musicais na granularidade de notas • Muitos fatores subjetivos

8. Dificuldades específicas de acompanhamento rítmico • Caso do ritmo ainda mais crítico • Pouco estudo teórico sobre essa dimensão • Algumas perguntas... • Quais os padrões rítmicos usados em um dado estilo? • Como escolher um padrão específico em detrimento dos outros? • Melodia, harmonia e andamento influenciam? Como? • Como variar os padrões em uma música?

9. Roteiro da Apresentação • O problema da geração de ritmos • Estado da Arte • Abordagem • Resultados • Conclusões

10. Dois paradigmas principais de SAA • “Nota por Nota” • Gramáticas, regras, probabilidades para escolher as notas • Reuso de Fragmentos • Encadeando fragmentos musicais encontrados em uma biblioteca

11. Vantagens do Reuso de Fragmentos • Minimiza o problema da formalização • Fragmentos = conhecimento • Escalável p/ diferentes instrumentos e estilos • Leva em conta expressividade • Naturalidade em relação ao acompanhamento rítmico

12. SAA baseado em reuso de fragmentos • Band-in-a-Box • Ponderado • Regras...

13. SAA baseado em reuso de fragmentos • ImPact • Linha de contrabaixo em Jazz • Biblioteca composta por 256 fragmentos • Propriedades musicais e contexto onde devem ser empregados • Raciocínio Baseado em Casos para recuperação dos padrões • Mapeamento direto (fragmentos = casos, propriedades musicais = atributos) • k-nearest neighbors (k=1), atributos ponderados • Regras para refinar a escolha

14. Roteiro da Apresentação • O problema da geração de ritmos • Estado da Arte • Abordagem • Resultados • Conclusões

15. Abordagem Adotada • Partir da abordagem do ImPact • Mais geral que BiaB • Conhecimento profundo • Estudo de caso: Bossa Nova • Grande importância para a música brasileira • Bastante conhecido e fácil de avaliar • Importância do acompanhamento rítmico no estilo • Estudos musicológicos importantes sobre o estilo

16. Abordagem Adotada • Adaptar a abordagem ImPact requer • Novos fragmentos musicais • Novos atributos para descrever os fragmentos • Novas regras para refinar a escolha • Devido as mudanças • Contrabaixo para violão • Melodia para ritmo • Jazz para Bossa Nova

17. Padrões rítmicos do Cyber-João • 21 padrões (a partir de performances de João Gilberto) • 1 principal • 7 cíclicos • 7 viradas • 4 de início de música • 2 especiais • Todos duram 2 compassos binários (assinatura 2/4) • Apenas dois tipos de eventos possíveis: • Bordão (polegar) • “Puxada” (indicador, médio e anular juntos) • Em músicas lentas (< 80 spm) apenas alguns dos padrões podem ser usados

18. Principais Padrões Rítmicos

19. Atributos dos Padrões • Ritmo Harmônico (peso 4) • Número de mudanças de harmonia em um segmento • Andamento (peso 5) • Lento quando < 80 spm, rápido caso contrário • Início (peso 5) • Se o padrão é usado no inicio de músicas • Freqüência de uso (peso 2) • O quanto o padrão é usado. Máximo 5 e mínimo 1 • Densidade (peso 1) • Contagem do número de eventos no padrão. “Alta”, “média” e “baixa” • Virada (peso 3) • Se o padrão é um padrão específico de virada

20. Atributos dos Padrões C Dm

21. IIm7 V7 I Regras (6 ao todo) Grau dos acordes ? Segmento Número de ataques 3 0 REGRA:VIRADA SE (melodia no último compasso <= 2 notas) E (se V7-I no último acorde do segmento e o primeiro do próximo) ENTÃO virada = sim; “use as outras propriedades musicais do padrão anterior”

22. Exemplo de Regra Virada REGRA:VIRADA SE (melodia no último compasso <= 2 notas) E (se V7-I no último acorde do segmento e o primeiro do próximo) ENTÃO virada = sim; “use as outras propriedades musicais do padrão anterior”

23. Roteiro da Apresentação • O problema da geração de ritmos • Estado da Arte • Abordagem • Resultados • Conclusões

24. Avaliação dos resultados • Criação de mais dois sistemas • Crazy-João: Totalmente aleatório • Patamar mínimo de qualidade • João-in-a-box • Semelhante ao software Band-in-a-box

25. Avaliação dos resultados • Experimento • 6 avaliadores • 1 Musicólogo, 4 músicos profissionais e 1 amador • 4 músicas • Desafinado, Chega de Saudade, Insensatez e Lígia • Total de 12 amostras “cegas” • Questionário para cada música • Número de erros por amostra • Melhor e pior partes para cada amostra • Se a amostra era estava em conformidade com a Bossa Nova • Melhor das 3 amostras para cada música • Excelente....

26. Resultados

27. Resultados • Resultados bastante satisfatórios • Cyber-João avaliado como excelente em mais de 40% das vezes • João-in-a-box, em 25% • Comentários • “Cyber-João émais estável” • “Se um aluno meu tocasse essas músicas dessa maneira para mim [em busca de comentários], diria que ele havia aprendido a tocar os padrões de Bossa Nova” • “Em alguns momentos um humano não faz melhor”

28. Roteiro da Apresentação • O problema da geração de ritmos • Estado da Arte • Abordagem • Resultados • Conclusões

29. Conclusões • Contribuições principais • Sistema pioneiro de acompanhamento rítmico para violão, baseado em uma abordagem generalizável • Melhor compreensão sobre ritmo de violão em bossa nova • Abordagem ImPact é adaptável • Contribuições secundárias • CBR

30. Conclusões • Trabalhos Futuros • Estender para o outros estilos • Integrar com a ferramenta de extração automática

31. FIM