1 / 21

RECONEIXEMENT AUTOMATIC D ’INSTRUMENTS MUSICALS

Juan Castro Mayorgas TFC - Enginyeria Tècnica de Telecomunicacions especialitat Telemàtica Universitat Oberta de Catalunya Segon semestre 2010-2011. RECONEIXEMENT AUTOMATIC D ’INSTRUMENTS MUSICALS. AGENDA. Context Objectius del TFC Propietats del so Característiques acústiques

thane
Download Presentation

RECONEIXEMENT AUTOMATIC D ’INSTRUMENTS MUSICALS

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Juan Castro Mayorgas TFC - Enginyeria Tècnica de Telecomunicacions especialitat Telemàtica Universitat Oberta de Catalunya Segon semestre 2010-2011 RECONEIXEMENT AUTOMATICD’INSTRUMENTS MUSICALS

  2. AGENDA • Context • Objectius del TFC • Propietats del so • Característiques acústiques • Classificadors • Corpus • Implementació • Resultats experimentals • Resum

  3. CONTEXT

  4. OBJECTIUS DEL TFC (I) Aprenentatge Extracció de característiques acústiques Senyal d’àudio Classificació Identificació

  5. OBJECTIUS DEL TFC (II) Selecció de classificadors Configuració Corpus Selecció de característiques Configuració d’escenaris Sistema de reconeixement automàtic Anàlisi de resultats

  6. PROPIETATS DEL SO • Intensitat i volum • Intensitat: quantitat absoluta • Volum: valor subjectiu • Altura: freqüència • Escala Mel • Duració • Timbre: permet diferenciar el mateix so produït per dos instruments diferents

  7. Informació que s’extreu de cada un dels petits fragments en que es talla el senyal d’àudio CARACTERISTIQUES ACUSTIQUES • En el domini freqüencial • Centroide • Extensió • Coeficients MFCC • Roll-Off • En el domini temporal • Taxa de pas per zero • Energia

  8. CLASSIFICADORS • Model de mescles Gaussianes (GMM) • Probabilístic i sense supervisió • K-veí més proper (k-NN) • Basat en distància • Molt senzill d’implementar. Alt cost de computació • Support Vector Machines (SVM) • Basat en distància • Dissenyat per a discernir entre dues classes. • Versions multi-classe.

  9. CORPUS • TunediT • 115.000 mostres (no es disposa de l’àudio original) • 70 – 30 % (entrenament – test) • 18 instruments (2 famílies – 8 subfamílies) • Generació pròpia • 18 instruments (2 famílies – 8 subfamílies) • Entrenament: Gravació de cada una de les notes de l’extensió de l’instrument • Test: Gravacions amb fraseig per cada instrument.

  10. Funcions relacionades amb l’extracció de les característiques acústiques IMPLEMENTACIO (I) • cAudioList = TFCLoadAudioList (filename) • Cfeatures = TFCExtractFeatures (cAudioList, windowSize) • TFCExportFeatures (audioListFile, featuresFile, windowSize)

  11. Funcions relacionades amb la classificació IMPLEMENTACIO (II) • cResults = TFCGMMCheck (cFTraining, vWhat, scale, classType) • CResults = TFCGMMClassify (cFTraining, cFTest, vWhat, scale, classType) vWhat = [x x x x x x x x x x x x x x x x x x] Centroide Extensió RollOff ZeroCrossEnergia MFCC1 … MFCC13

  12. Funcions relacionades amb la classificació IMPLEMENTACIO (III) • cResults = TFCKNNClassify (cFTraining, cFTest, vWhat, scale, classType, k, maxDist) • cResults = TFCKNNClassify2 (cFTraining, cFTest, vWhat, scale, classType, k, maxDist) • cResults = TFCKNNClassify3 (cFTraining, cFTest, vWhat, scale, classType, k, maxDist) • cResults = TFCSVMClassify (cFTraining, cFTest, vWhat, classType)

  13. Funcions relacionades amb l’anàlisi de resultats IMPLEMENTACIO (IV) • cAnalytics = TFCCreateAnalytics (cFTest, cResults, classType) • cReport = TFCReportAnalytics (cAnalytics) • cReport = TFCReportDecision (cAnalytics)

  14. RESULTATS EXPERIMENTALS (I)

  15. RESULTATS EXPERIMENTALS (II)

  16. RESULTATS EXPERIMENTALS (III)

  17. RESULTATS EXPERIMENTALS (IV)

  18. RESULTATS EXPERIMENTALS (V)

  19. RESULTATS EXPERIMENTALS (VI)

  20. RESUM • Implementació funcions per a: • Extreure característiques acústiques • Classificar e identificar mostres • Analitzar resultats • Experiments que mostren entre altres: • El nombre de mostres afecta de diferent manera als resultats segons el mètode de classificació • La rellevància de les característiques acústiques depèn del mètode de classificació • Hi ha instruments més fàcils d’identifcar amb un mètode que amb un altre • El fraseig harmònic redueix el percentatge d’encerts

  21. Gràcies

More Related