Laureando: Dario Soffiati Relatore: Prof. Raffaele Parisi Correlatore: Ing. Albenzio Cirillo

1. ROMA – 18/02/08 Algoritmi di localizzazione di sorgenti audio in presenza di riverbero: confronto e implementazione in tempo reale Laureando: Dario Soffiati Relatore: Prof. Raffaele Parisi Correlatore: Ing. Albenzio Cirillo

2. Sommario • Introduzione alla localizzazione di sorgente sonora in ambiente riverberante • Schema a blocchi dei sistemi di Particle filtering e Particle Swarm Optimization • Descrizione dei moduli dei sistemi • Parametri di misura delle prestazioni dei sistemi • Esposizione delle prestazioni per i test effettuati • Demo del software Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

3. Introduzione Introduzione alla localizzazione di sorgente sonora in presenza di riverbero • SSL(Sound Source Localization) è una tematica in cui ricadono tutti gli algoritmi in grado di fornire una stima della posizione (i.e. coordinate in un generico sistema di riferimento) della sorgente che emette un suono, elaborando i segnali acquisiti da un numero di microfoni necessariamente > 2 • Vi sono metodi indiretti:caratterizzati dal fatto di essere suddivisi in 2 fasi: 1) Stima dei Time-Delays (TD) 2) Stima della posizione tramite elaborazione dei TD delle varie coppie microfoniche. e metodi diretti: fanno riferimento ad una funzione di localizzazione F(s) che va massimizzata per ottenere la stima di posizione • Gli approcci adottati in quest’elaborato sono le tecniche di Particle Filtering (PF) e Particle Swarm Optimization (PSO) che ricadono nella classe dei metodi indiretti Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

4. Riverbero Introduzione alla localizzazione di sorgente sonora in presenza di riverbero • Il riverbero è un fenomeno acustico legato alla riflessione del suono da parte di un ostacolo posto davanti alla fonte sonora: per esempio, se in una stanza una sorgente sonora cessa di irradiare, il livello sonoro diminuisce tanto più lentamente quanto minore è l'assorbimento acustico delle pareti. Tempo di Riverbero (RT60) Tempo necessario affinchè la pressione sonora in un punto decada di 60 dB a partire dall’istante in cui la sorgente cessa di emettere. (Norris - Eyring) Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

5. Schema del sistema Schema a blocchi dei sistemi di Particle filtering e Particle Swarm Optimization Stima dei Time-Delays (TD) Cross-correlazione Generalizzata (GCC) Rivelatore di picco Ricampionamento Predizione Funzione di pesatura Insieme di particelle Stima della posizione (X Y Z) Vettore dello stato della sorgente all’istante t-esimo Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

6. Formulazione del problema Descrizione dei moduli dei sistemi . . Funzione di localizzazione Dispositivo di memorizzazione ed elaborazione xm(k): segnale ricevuto dall’m-esimo microfono s(k): segnale vocale hm(k): risposta impulsiva per m-esimo microfono nm(k): rumore dell’m-esimo microfono m: 1…M indice del microfono p: 1…P indice della coppia microfonica L: lunghezza del frame Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

7. All’aumentare del tempo di riverbero diminuisce la probabilità che il picco principale sia associato al vero ritardo intermicrofonico Funzione di localizzazione Descrizione dei moduli dei sistemi T60 = 0,15 s Fourier transform GCC-PHAT T60 = 0,8 s x: segnale proveniente dall’i-esimo microfono p: 1…P indice di coppia microfonica i: 1,2 indice del microfono appartenente alla p-esima coppia t: t-esimo istante temporale Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

8. Random Inizializzazione Pesatura Ricampionamento Predizione Stima della posizione Algoritmo Particle Filtering Descrizione dei moduli dei sistemi Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

9. Funzione di pesatura Descrizione dei moduli dei sistemi Esempio di pesatura di un punto nel caso di T60=0.55s Range ammissibile Range ammissibile Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

10. Passo 3: Pesatura Algoritmo di PSO 1/2 Descrizione dei moduli dei sistemi Inizializzazione: Vettore dello stato della sorgente all’istante t-esimo Passo 1: Calcolo della funzione di localizzazione Passo 2: Costruzione della funzione di pesatura Passo 5: Predizione Passo 6: Stima della posizione Passo 4: Aggiornamento di Pi e Pg Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

11. Algoritmo di PSO 2/2 Descrizione dei moduli dei sistemi Miglior performance individuale i-proximity Miglior performance di tuttolosciame Pi Here I am! X Pg g-proximity φ: estrazione di una variabile aletoria distribuita uniformemente tra 0 e φMAX α: coefficiente di inerzia 0≤ α≤1 V Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

12. z x y Parametri di test (sintetico) Parametri di misura delle prestazioni dei sistemi Test su segnali sintetici (“speech”) realizzati mediante RoomSim di Matlab Posizione sorgente sonora 3 m 6,6 m 10 m Numero di particelle: 27 Coppie microfoniche: 4 Lunghezza frame: 1024 Lunghezza subframe: 256 Fs: 44100 Hz PF -> Βx,βy,βz: 10 PF ->Vx,Vy,Vz: 0.5 PSO ->Phi1: 1.2 PSO ->Phi2: 1.6 Posizione coppie microfoniche Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

13. Parametri di test (reale) Parametri di misura delle prestazioni dei sistemi Test del software in real-time in laboratorio ISPAC Lunghezza: 4.22 m Larghezza: 5.5 m Altezza: 2.93 m Interfaccia audio a 10 canali USB Edirol UA-1000 Numero di particelle: 27 Coppie microfoniche: 3 Lunghezza frame: 1024 Lunghezza subframe: 256 Fs: 48000 Hz PF -> Βx,βy,βz: 10 PF ->Vx,Vy,Vz: 0.7 Array microfonico Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

14. Misura delle prestazioni Parametri di misura delle prestazioni dei sistemi Squared Error: Misura la differenza tra la posizione vera della sorgente e quella stimata dall’algoritmo SE Sorgente Posizione stimata Standard Deviation: Misura la compattezza dello sciame intorno alla posizione stimata STD Frame Convergence Rate: Misura la percentuale di frame per cui l’errore di stima è al di sotto della deviazione standard, più un certo valore delta FCR Frame Convergence Rate Threshold: Misura la percentuale di frame per cui l’errore di stima è al di sotto di una certa soglia in centimetri FCRT Soglia Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

15. PF vs PSO (RMSE) Esposizione delle prestazioni per i test effettuati Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

16. PF vs PSO (FCRT10) Esposizione delle prestazioni per i test effettuati Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

17. PF vs PSO (FCRT20) Esposizione delle prestazioni per i test effettuati Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

18. PF vs PSO (Anecoico) Esposizione delle prestazioni per i test effettuati Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

19. PF vs PSO (RT60 = 350ms) Esposizione delle prestazioni per i test effettuati Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

20. Demo del software Demo del software Alcune demo del software Particle Filtering RT60 = 350ms Particle Filtering Source change PSO RT60 = 350ms PSO Source change Real-time Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante

21. Conclusioni Conclusioni • Estensione al caso multisorgente • Valutazione di nuove funzioni di localizzazione e di fitness • Considerazioni per il settaggio ottimale dei parametri di Particle Filtering e di Particle Swarm Optimization • L’implementazione in tempo reale ha evidenziato dei possibili colli di bottiglia nel calcolo dei pesi della particelle all’aumentare del numero di coppie microfoniche prese in considerazione; è quindi auspicabile un lavoro futuro che preveda l’implementazione con più processi paralleli associati al calcolo dei pesi delle particelle per ogni coppia GRAZIE PER L’ATTENZIONE Dario Soffiati – Localizzazione di sorgenti sonore in ambiente riverberante 12/09/2014