1 / 29

Sound Quality Assessment IPA and IQSB methods

University of Parma. Sound Quality Assessment IPA and IQSB methods. Quality assessment - previous methods. Subjective Index (IPA / Index of Performance - Audition): Questionnaire compiled “on paper” during a listening test inside the car 6 questions, opposite-attributes scale with 5 marks

jirair
Download Presentation

Sound Quality Assessment IPA and IQSB methods

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. University of Parma Sound Quality AssessmentIPA and IQSB methods

  2. Quality assessment - previous methods Subjective Index (IPA / Index of Performance - Audition): • Questionnaire compiled “on paper” during a listening test inside the car • 6 questions, opposite-attributes scale with 5 marks • Rated separately for front and rear seats • Pre-defined set of music samples (ASK Listening Disk) • The total score is a weighted sum of the responses – the weight factors are variable, depending on the estimated reliability of each subject • The analysis of the questionnaires is performed automatically by a software Objective Index (IPM / Index of Performance – Measured): • Based on traditional measurements: • Single omnidirectional microphone • Steady-state frequency response with pink noise signal • “confort” target curve • Evaluation based on spectral-related parameters (flatness, adherence to the target, smoothness, etc.) • The total score is a weighted sum of the above objective parameters • The weighting factorsand the “target curve” have been obtained in order to align as closely as possible the values of IPM and IPA, for a set of 30 different cars

  3. In-car listening tests Compilation of IPA questionnaire

  4. In-car listening tests The IPA software

  5. Calculation of the IPA score IPA is a double-weighted average of the responses to each question of each questionnaire: xi,j is the response to the question i on the questionnaire j (in the range 1..9), wi is the weight given to each question, Sj is the weight computed for each questionnaire.

  6. Validation of the IPA test 3 Fiat Punto cars, equipped with different sound , were rated by: A panel #1 constituted of 8 selected subjects chosen among ASK employees A panel #2 constituted of 23 unselected students of the Engineering Faculty The comparison of the responses gave these results of the IPA score:

  7. Some IPA results

  8. Virtual listening Listening room

  9. Virtual listening room Goals: • Fast comparison between different car audio s • Capability of detecting very subtle differences Reasons: • The tests cannot be done inside cars because of the large time required for switching and the impossibility to have many cars simultaneously in the lab. • In-car tests are feasible only in silent conditions (no rolling or engine noise) Features: • Fast switch between different recordings • Large data base of cars, including unique samples no more available • The listening room reproduce faithfully the tracks binaurally recorded in the car and can superpose realistic background noise.

  10. Virtual listening room Plan of the listening room: Stereo Dipole Front Surround loudspeaker Central Channel Stereo Dipole Rear

  11. Direct path R R CRR Audio source CRL SR HRL HLR HLL HRR CLR SL + + CLL L L Cross-talk paths Digital Signal Processor Cross-talk cancellation Inverse filters are designed using Kirkeby’s theory and proper software: Adobe Audition and Aurora plug-ins.

  12. Virtual listening Automatic collection of questionnaires by software

  13. Objective Quality Assessment Goals: • Get “objective” results from listening tests • Rank different sound s in terms of “acoustic quality” • Evaluate the subjective factors affecting the perceived quality • Analyze the relationship between subjective factors and objective parameters • Estimate the subjective performance from objective measurements • Provide a feedback to the design of components/s in order to maximize the perceived quality

  14. Quality assessment - new method IQSB single-number score of sound quality • Measurement of impulse response with a dummy head • Three spectral parameters (based on AQT) • One spatial parameter (IACC) • One localization parameter (ITD) • One distortion parameter (THD) • One voice presence parameter (energy ratio) • The total score is a weighted sum of the above objective parameters • The weighting factors have been obtained in order to align as closely as possible the values IQSB with the results of subjective tests, performed on two sets of 10 different cars

  15. Definition of IQSB Subjective evaluation parameters: • Intensity of Sound and SPL MAX. • Distortion. • Spectral attributes. • Spatial attributes . • Speech clarity and intelligibility. • Low frequency quality. • Articulation and clarity of sound (Fidelity) Objective Parameters • Dynamic response of car inside (AQT Method) – target curve, uniformity • Articulation and energy recovery at low frequency (AQT) • Distortion parameters • Spatial parameters (IACC and localization index) • Speech clarity (STI)

  16. Objective measurements Measurement : • Needs a Binaural Dummy Head and a professional soundcard • The audio is stimulated by a series of test signals stored on a CD • The measure takes 15 min • A series of parameters are extracted from this measure • The post processing takes 15 min Global Results: • The correlation between subjective and objective indexes is high (R2 = 0.8) • This method can evaluate the performance of every type of (including 5.1 ) thanks to spatial parameters Other interesting Results: • A distortion parameter able to characterize the performance of the whole mounted in the car was developed based on sweep signal test • A great correlation with subjective perceived distortion was achieved

  17. Objective parameters for IQSB 1. Scarto Medio STATICO Scostamento, nella risposta in frequenza “steady-state”, dalla Curva di Comfort Statica presa come riferimento Analisi delle FRF del DataBase vetture rispetto alle curve target Curva Target 1 Rilevata su vetture di segmenti B e C Curva Target 2 Rilevata su vetture di segmenti D e E

  18. Objective parameters for IQSB 2. Scarto Medio DINAMICO Scostamento, nell’overshoot di risposta ai burst, dalla Curva di Comfort Dinamica presa come riferimento Input Curve Target Le stesse dello scarto medio STATICO Output 33 ms Overshoot Overshoot Ogni burst è costituito da una tono puro di durata pari a 200ms, secondo quanto indicato da Zwicker. I toni vengono generati secondo un andamento di tipo logaritmico (Formule di Tramuller e Terdhardt). La misura del picco di overshoot relativo ad ogni burst può essere plottata vs. il valore di frequenza corrispondente f

  19. Objective parameters for IQSB 3. Uniformità Spettrale DINAMICA Valutazione dell’uniformità spettrale dello scarto dinamico Vengono penalizzate vetture con scarti molto concentrati in specifiche zone in frequenza OPERAZIONI EFFETTUATE: 1) Differenza fra: • Scarto medio STATICO alle basse frequenze vs. quello alle medie frequenze (I) • Scarto medio STATICO alle basse frequenze vs. quello alle alte frequenze (II) • Scarto medio STATICO alle medie frequenze vs. quello alle alte frequenze (III) 2) Somma delle differenze di cui sopra  SE la somma delle differenze è BASSA – idealmente pari a zero – significa che gli scarti sono molto simili fra loro  BUONA Uniformità Spettrale SE la somma è ALTA significa che gli scarti sono molto diversi fra una zona in frequenza e l’altra  SCARSA Uniformità Spettrale (III) (I) (II) 200 2.000 20.000

  20. Objective parameters for IQSB 4.Fattore di MERITO e Indici di BOOM (DINAMICO) Descrivono il comportamento del sistema in bassa frequenza Fattore di (DE)MERITO: Rapporto fra il picco massimo degli overshoot di risposta ai burst e l’energia sottesa dalla curva nell’intervallo [0-200] Hz Tanto più è alto tanto più il sistema in esame è “risonante” e disomogeneo. In corrispondenza di risonanze ad elevata energia si hanno tipicamente nella risposta in frequenza picchi evidenti Indice di RIMBOMBO: Analogo al fattore di merito, ma il rapporto viene fatto sullo scarto DINAMICO dalla curva target anziché direttamente sugli overshoot di risposta

  21. Esempio Alfa 156 Curva in 1/24 di ottava Curva in 1/3 di ottava(dopo smoothing) L’alto numero di “zero crossing” indica una risposta in frequenza molto irregolare ed instabile Objective parameters for IQSB 5. Indice di FRASTAGLIATURA e Indice di CRESTA Indicatori di IRREGOLARITA’ della curva di risposta in frequenza Indice di FRASTAGLIATURA: Rapporto – in termini di “zero crossing” – fra la curva in 1/24 di ottava e la corrispondente curva in 1/3 di ottava preventivamente “lisciata” Tanto più è alto tanto più il sistema in esame è frastagliato ed irregolare nella sua risposta in frequenza – Teoria di David Clark Indice di CRESTA: Come l’indice di frastagliatura ma vengono tenuti in conto soltanto scostamenti fra la curva in 1/24 e quella in 1/3 superiori a 3 dB

  22. Input Output 33 ms Articolazione Objective parameters for IQSB 6. ARTICOLAZIONE Indicatore dei tempi di dissipazione dell’onda acustica in abitacolo Valore di ARTICOLAZIONE: Misura sull’intero spettro del decadimento energetico della risposta nei 33 ms seguenti la fine del burst. Dopo la fine del burst relativo ad ogni sinusoide riprodotto in abitacolo si contano 33 msec e si misura il livello acustico interno, tale valore viene confrontato con il livello in SPL durante la presenza del burst. Condizionale: Quando tale valore supera i 20 dB di decadimento, il risultato viene comunque posto a 20 dB (in base alla teoria secondo cui un decadimento superiore non viene percepito – Curve di Zwicker – Il sistema necessita di 33 ms per riacquistare completamente la sua sensibilità in seguito a un Burst di 200ms) Peso: Viene dato maggior peso all’articolazione in bassa frequenza Un alto livello di Articolazione – ovvero un alto livello in dB di decadimento dell’onda nei 33 ms successivi – è indice di pulizia del suono riprodotto in quanto non dovrebbe esserci interferenza fra il riverbero di un suono ed il suono successivo – NON SI HA EFFETTO DI MASCHERAMENTO ACUSTICO

  23. Distorsione di 2a armonica Objective parameters for IQSB 7. Rapporti Armonici… Indicatori di presenza ed entità di fenomeni di distorsione Distorsione di 3aarmonica Distorsione di 2a armonica Separazione della componente lineare dalle armoniche: Deconvoluzione del Segnale misurato rispetto al segnale di test di tipo sweep logaritmico -> Ricavo la IR armonica e le IR distorte Spiegazione: Nella misura vengono rilevate le componenti di distorsione del segnale (segnale a frequenza doppia, tripla, etc. di quello originale). La procedura di deconvoluzione della sweeppata trasforma sia la componente linearee, sia queste componenti armoniche, in risposte all’impulso f Componente nondistorta t Diagramma tempo-frequenza della risposta alla sweepata Distorsione di 3a armonica Componentenondistorta

  24. Objective parameters for IQSB 8. IMD: distorsione di intermodulazione Indicatori di presenza di intermodulazioni nelle frequenze medio-alte causate da toni a bassa frequenza. Toni di intermodulazione ad elevata energia provocano MASCHERAMENTO ACUSTICO della portante. Sia fp la frequenza della portante e f1 la frequenza del tono in bassa frequenza. In caso di intermodulazione si avranno nello spettro dei toni in corrisponsenza delle frequenze “fp-f1” e “fp+f1” fp fp+f1 fp-f1

  25. Objective parameters for IQSB 9. THD+N Total Harmonic Distorsion + Noise NORMALE: … PESATO: … PESATO NORMALIZZATO: … TOTAL POWER > 5%: si tengono in considerazione i valori di distorsione solo se questi superano il 5% del totale Rapporto, nel segnale di risposta, fra l’energia della portante e l’energia del pettine armonico completo (armoiche pari e dispari). Il segnale di input può essere costituito da: • Burst di Toni puri (6 frequenze caratteristiche per la portante) • Sweppata (portante mobile) SWEEPSu tutto lo spettro BURST Alle 6 frequenze caratteristiche

  26. Objective parameters for IQSB 10. Spazialità e Localizzazione NCC: cross-correlazione fra i microfoni L e R IACC: massimo di correlazione fra i 2 segnali CLASSICO: segnale inviato contemporaneamente sui due canali LR: viene mandato il segnale mono separatamente sui due canali e valutata la coerenza di risposta fra le due orecchie Tau IACC: istante in cui cade il massimo di IACC (tau = 0 indica un suono di provenienza frontale) ITD (Interaural Time Difference): misura del ritardo dei tempi di arrivo del fronte dell’onda nei due canali uditivi ILD (Interaural Level Delay): misura le differenze di livello sui due orecchi da un fronte d’onda costituito da un segnale rotante ricavato dalla HRTF di una dummy-head WightSpot: dimensione dello spot di cross-correlazione disegnato sul grafico a radar Correlazione con il segnale “original measured” In questo caso i parametri di spazialità e localizzazione vengono correlati con le condizioni ideali di risposta del manichino in camera anecoica (curva più esterna del grafico sopra)

  27. Final computation of IQSB IndiceIQSB = 2.25347 + 0.30812 * Fedeltà + 0.29467 * Carattere + 0.23624 * Bilanciamento - 0.03757 * Voce  con Fedeltà = 3.57034 + 7.35195 * Corr_ITDoriginal_measured (1) - 0.90615 * Sca_med_CT2_Con_din_Bil_LR (2) Bilanciamento = 10.79661 - 5.34142 * Ind_rimb_Bil_din_CT2_Nor_LR (3) - 0.67898 * Sca_med_CT2_Con_din_Bil_LR (4) - 0.15377 * Unif_med_CT2_con_din_Bil_Both (5) Carattere = 8.01174 + 4.221710 * Corr_ITDoriginal_measured (6) - 15.96017 * IACCclassicostereo (7) - 94.97403 * THD80_Total_Pesato_Sweep_Norm (8) Voce = Ener_rel_voce_IR_sta_per_LR (9)

  28. R2 = 0.87 Objective score (IQSB) Subjective score (IPA) IQSB verification Verification of the matching between Objective/Subjective indexes (R² = 0.80)

  29. Conclusions • It was necessary to derive new physical descriptors, better correlating with the human listening experience inside a car. • Three physical parametrs revealed to be more correlated with subjective responses: IACC, STI and AQT • Modern methods have been employed for automated collection of questionnaires, boith inside cars and in a special listening room • By statisticanal analysis of the responses, it was possible to find good correlation with objective quantities, and to derive a simple mathematical model providing a score base don the measurmeemnt results which stricly matches the score obtained by listening tests.

More Related