400 likes | 613 Views
Overzicht . Inleiding Basisprincipes Robuuste breedband-bundelvorming Meerkanaals optimale filtering Akoestische-kanaalschatting en dereverberatie Besluit en verder onderzoek. Overzicht . Inleiding Situering en toepassingen Probleemstelling Bijdragen Basisprincipes
E N D
Overzicht • Inleiding • Basisprincipes • Robuuste breedband-bundelvorming • Meerkanaals optimale filtering • Akoestische-kanaalschatting en dereverberatie • Besluit en verder onderzoek
Overzicht • Inleiding • Situering en toepassingen • Probleemstelling • Bijdragen • Basisprincipes • Robuuste breedband-bundelvorming • Meerkanaals optimale filtering • Akoestische-kanaalschatting en dereverberatie • Besluit en verder onderzoek
Spraakverstaanbaarheid en spraakherkenning Achtergrondlawaai: - ventilator, radio - andere personen - meestal ongekend Reverberatie (nagalm) - reflecties van signaal tegen muur, objecten Situering • Spraakcommunicatietoepassingen: handenvrije mobieletelefonie, spraakgestuurde systemen, hoorapparaten • Inleiding -Situering -Probleemstelling -Bijdragen • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit • Opname van spraak in ongunstige akoestische omgeving • Lage signaalkwaliteit
Doelstelling • Signaalverbeteringstechnieken: • Inleiding -Situering -Probleemstelling -Bijdragen • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit • Ruisonderdrukking : verminderen van achtergrondlawaai zonder spraak te vervormen • Dereverberatie : effect van nagalm verminderen • Gecombineerde ruisonderdrukking en dereverberatie • Akoestische bronlokalisatie: camera of volgspot Signaalverbetering
Toepassingen • Handenvrije mobiele telefonie: • Belangrijkste toepassing vanuit economisch standpunt • Handenvrije kit in wagen verplicht • Inleiding -Situering -Probleemstelling -Bijdragen • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit • Meeste huidige systemen: 1 directionele microfoon • Video-conferencing: • Microfoonrooster voor bronlokalisatie : • richten van camera op actieve spreker • signaalverbetering door sturen van microfoonrooster
Toepassingen • Spraakgestuurde systemen: • consumentenelektronica (HiFi, PC software) • voordeel wanneer spraakherkenning betrouwbaar werkt in alle omstandigheden • signaalverbetering als voorverwerking • Inleiding -Situering -Probleemstelling -Bijdragen • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit • Hoorapparaten en cochleaire implantaten: • meeste slechthorenden lijden aan perceptueel gehoorverlies • versterking • verzwakking van ruis tov gewenst signaal • meerdere microfoons + DSP in hoorapparaat • huidige systemen: eenvoudige bundelvorming • robuustheid zeer belangrijk wegens kleine afstand microfoons
Algoritmische vereisten • ‘Blinde’ technieken: ongekende ruisbronnen en omgeving • Adaptief: tijdsvariante signalen en akoestische omgeving • Robuustheid: • Microfoonkarakteristieken (versterking, fase, positie) • Andere afwijkingen van veronderstelde signaalmodel • Integratie van verschillende technieken • Berekeningscomplexiteit • Inleiding -Situering -Probleemstelling -Bijdragen • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
Eénkanaals-technieken • spectrale subtractie[Boll 79, Ephraim 85, Xie 96] • Signaalonafhankelijke transformatie • Problemen met residuele ruis • deelruimte-gebaseerd[Dendrinos 91, Ephraim 95, Jensen 95] • Signaalafhankelijke transformatie • signaalruimte + ruisdeelruimte • Meerkanaals-technieken • vaste bundelvorming[Dolph 46, Cox 86, Ward 95, Elko 00] • Vast directiviteitspatroon • adaptieve bundelvorming[Frost 72, Griffiths 82, Gannot 01] • aanpassen aan verschillende omgevingen performantie • `Generalised Sidelobe Canceller’ (GSC) • inverse, ‘matched’filtering[Myoshi 88, Flanagan 93, Affes 97] enkel spectrale informatie a-priori veronderstellingen spatiale informatie robuustheid 2. Meerkanaals optimale filtering Probleemstelling en bijdragen 1. Robuuste breedband- bundelvorming 3. Blinde kanaalschatting dereverberatie 9
Overzicht • Inleiding • Basisprincipes • Signaalmodel • Karakteristieken van signalen en akoestische omgeving • Robuuste breedband-bundelvorming • Meerkanaals optimale filtering • Akoestische-kanaalschatting en dereverberatie • Besluit en verder onderzoek
Akoestischeimpulsresponsie Spraak-signaal Additieveruis Signaalmodel • Model voor microfoonsignalen in tijdsdomein: gefilterde versie van zuiver spraaksignaal + additieve gekleurde ruis • Inleiding • Basisprincipes -Signaalmodel -Karakteristieken • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
S Signaalmodel • Meerkanaals-signaalverbetering: microfoonsignalen worden gefilterd met filters wn[k] en gesommeerd • Inleiding • Basisprincipes -Signaalmodel -Karakteristieken • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit • f[k] = totale transferfunctie voor spraakcomponent • zv[k] = residuele ruiscomponent • Technieken verschillen in berekening van filters: • Ruisonderdrukking :minimaliseer residuele ruis zv[k] enbeperk spraakvervorming • Dereverberatie : f[k]=δ[k] door schatten van akoestische impulsresponsies hn[k] • Gecombineerde ruisonderdrukking en dereverberatie
0.4 0.3 0.2 0.1 0 Amplitude -0.1 -0.2 -0.3 -0.4 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 Tijd (sec) Karakteristieken van signalen • Spraak: • Breedbandig (300-8000 Hz) • Aan/uit-karakteristiek Spraakdetectie-algoritme (VAD) • Lineair lage-rangmodel: lineairecombinatie van basisfuncties • Inleiding • Basisprincipes -Signaalmodel -Karakteristieken • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit (R=12…20) • Ruis: • ongekende signalen zonder referentie • traag-variërend (ventilator) niet-stationair (radio, spraak)
Impulsresponsie PSK rij 9 1 0.8 0.6 0.4 Amplitude 0.2 0 -0.2 -0.4 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Tijd (sec) Akoestische omgeving • Reverberatietijd T60: globale karakteristiek • Akoestische impulsresponsies: • Akoestische filtering tussenspreker en microfoons • FIR-filter (K=1000…2000 taps) • Niet-minimum-fasesysteem geen stabiele inverse • Microfoonrooster: • Veronderstelling: puntsensoren met ideale karakteristiek • Afwijkingen: versterking, fase, positie • Inleiding • Basisprincipes -Signaalmodel -Karakteristieken • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
Overzicht • Inleiding • Basisprincipes • Robuuste breedband-bundelvorming • Nieuwe ontwerpprocedures voor breedband-bundelvorming • Robuuste bundelvorming tegen afwijkingen inversterking en fase • Meerkanaals optimale filtering • Akoestische-kanaalschatting en dereverberatie • Besluit en verder onderzoek
Benut spatiale diversiteit door meerdere microfoons Onderdrukken ruis en reverberatie uit bepaalde richtingen - Lage complexiteit - Robuustheid bij lage signaal-ruisverhouding • - A-priori kennis over posities en microfoonkarakteristieken • Signaal-onafhankelijk FIR ‘filter-and-sum’ structuur: willekeurig directiviteits-patroon voor willekeurige microfoonconfiguratie Vaste bundelvorming • Ruis- en spraakbronnen met zelfde spectrum op verschillende posities • Inleiding • Basisprincipes • Bundelvorming -Ontwerp -Robuust • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit • Originele techniek uit radartoepassingen: • Smallband : compensatie van vertraging breedband • ‘Far-field’ : vlakke golven ‘near-field’ : sferische golven • Gekende karakteristieken van sensoren afwijkingen
Directiviteitspatroon: Gewenst directiviteitspatroon: 2D-filterontwerp in hoek en frequentie ‘Filter-and-sum’ configuratie • Doelstelling: bereken filters wn[k] zodat bundelvormer gewenste vaste spatiale en spectrale filtering uitvoert • Inleiding • Basisprincipes • Bundelvorming -Ontwerp -Robuust • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit Far-field:- vlakke golven - gelijke verzwakking
Ontwerpprocedures • Ontwerp filter w zodat directiviteitspatroon zo dicht mogelijk benadert over volledig frequentie-hoek- gebied minimalisatie van kostfunctie • Niet-lineare kostfunctie iteratieve optimalisatie = complex! • Gewogen-kleinste-kwadraten kwadratische functie • Eigenfilter gebaseerd op TLS-criterium GEVD • Besluit:TLS-eigenfilter beste niet-iteratieve procedure • Inleiding • Basisprincipes • Bundelvorming -Ontwerp -Robuust • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
dB dB dB Freq (Hz) Freq (Hz) Freq (Hz) Angle (deg) Angle (deg) Angle (deg) Simulaties Delay-and-sum • Parameters: • N=5, d=4cm • L=20, fs=8kHz • Pass: 40o-80o • Stop: 0o-30o + 90o-180o
Meet- of kalibratieprocedure Breng specifieke (willekeurige) afwijkingen in rekening Robuuste breedband bundelvorming • Kleine afwijkingen van veronderstelde karakteristieken (versterking, fase, positie) grote afwijkingen in directiviteits-patroon, zeker voor microfoonroosters met kleine afmeting • In de praktijk zijn microfoonkarakteristieken nooit exact gekend • Beschouw alle mogelijke microfoonkarakteristieken en optimaliseer • gemiddelde performantie met waarschijnlijkheid als gewicht • ‘worst-case’ performantie minimax-optimalisatieprobleem • Inleiding • Basisprincipes • Bundelvorming -Ontwerp -Robuust • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
Simulaties • Niet-lineaire ontwerpprocedure • N=3, posities: [-0.01 0 0.015] m, L=20, fs=8 kHz • Passband = 0o-60o, 300-4000 Hz (endfire)Stopband = 80o-180o, 300-4000 Hz • Robuust ontwerp voor gemiddelde performantie:Uniforme pdf = (0.85-1.15) en (-5o-10o) • Afwijking = [0.9 1.1 1.05] en [5o -2o 5o] • Inleiding • Basisprincipes • Bundelvorming -Ontwerp -Robuust • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
dB dB dB dB Angle (deg) Angle (deg) Angle (deg) Angle (deg) Frequency (Hz) Frequency (Hz) Frequency (Hz) Frequency (Hz) Simulaties • Inleiding • Basisprincipes • Bundelvorming -Ontwerp -Robuust • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
Overzicht • Inleiding • Basisprincipes • Robuuste breedband-bundelvorming • Meerkanaals optimale filtering • GSVD-gebaseerde optimaal-filtertechniek • Verminderen van berekeningscomplexiteit • Simulaties • Akoestische-kanaalschatting en dereverberatie • Besluit en verder onderzoek
Robuustheid Meerkanaals Signaal-afhankelijk Vertraagde spraakcomponentin microfoonsignaal Uitgangssignaal Minimaliseer MSE Lineaire beperkingen:a-priori veronderstellingenover microfoon + positie Standaard (adaptieve) bundelvorming: LCMV Meer-kanaals Wiener Filter • Spraak en ruis onafhankelijk • 2e orde statistiek ruis stationair schatten tijdens ruisperiodes (VAD) Meerkanaals optimale filtering Doel: optimale schatting van spraakcomponenten in microfoonsignalen • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering -Optimale filtering -Complexiteit -Simulaties • Kanaalschattingen dereverberatie • Besluit Geen veronderstellingen
=1 : MMSE (gelijk belang) • <1 : minder spraakvervorming, minder ruisonderdrukking • - >1 : meer spraakvervorming, meer ruisonderdrukking Meerkanaals optimale filtering • Implementatietechniek: • gebaseerd op Veralgemeende-Singuliere-Waarde-Ontbinding (GSVD) • in rekening brengen van lage-rangmodel spraak • afweging tussen ruisonderdrukking en spraakvervorming • QRD [Rombouts 2002], subband[Spriet 2001] lagere complexiteit • Spraakdetectie-mechanisme is enige a-priori veronderstelling: nodig voor schatting van correlatiematrices • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering -Optimale filtering -Complexiteit -Simulaties • Kanaalschattingen dereverberatie • Besluit
Spraak Ruis Analyse in het frequentiedomein • Opsplitsing in spatiaal en spectraal gedeelte • Gewenst directiviteitspatroon voor eenvoudige scenario’s • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering -Optimale filtering -Complexiteit -Simulaties • Kanaalschattingen dereverberatie • Besluit spectrale filtering(PSD) spatiale filtering(coherentie)
Real-time implementatie mogelijk (N = 4, L = 20, M=80, fs = 16 kHz, P = 4000, Q = 20000) Verminderen van complexiteit • Recursieve versie: elke tijdsstap berekening GSVD + filter • Complexiteitsreductie door: • Recursieve technieken voor herberekening GSVD [Moonen 90] • Sub-bemonstering (stationaire akoestische omgevingen) • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering -Optimale filtering -Complexiteit -Simulaties • Kanaalschattingen dereverberatie • Besluit Hoge berekeningscomplexiteit
Spraak-referentie f[k] Delay-sum bundelvormer Adaptief filter Spraak-referentie S S S S delay Ruis-referenties Ruis-referentie(s) Optimaalfilter – Blocking matrix S + Verhogen van performantie Meer-kanaals adaptief filter Verminderen van complexiteit door korte filters Verminderen van complexiteit • Integratie in ‘Generalised Sidelobe Canceller’ (GSC) structuur: adaptieve bundelvorming • Creatie van ‘spraakreferentie’ en ‘ruisreferentie’ • Standaard meerkanaals adaptief filter (LMS, APA) • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering -Optimale filtering -Complexiteit -Simulaties • Kanaalschattingen dereverberatie • Besluit
Simulaties • N=4, SNR=0 dB, 3 ruisbronnen (wit, spraak, muziek), fs=16 kHz • Performantie: verbetering van signaal-ruisverhouding (SNR) • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering -Optimale filtering -Complexiteit -Simulaties • Kanaalschattingen dereverberatie • Besluit 15 Delay-and-sum bundelvormerr GSC (LANC=400, ruisref=Griffiths-Jim) Recursieve GSVD (L=20, geen ANC) Recursieve GSVD (L=20, LANC=400, alle nref) 10 Unbiased SNR (dB) 5 0 0 500 1000 1500 Reverberatietijd (msec)
Conclusies • GSVD-gebaseerde optimaal-filtertechniek: • Meerkanaals-uitbreiding van éénkanaals deelruimte-gebaseerde technieken • Signaal-afhankelijk lage-rangmodel spraak • Geen a-priori veronderstellingen over sprekerpositie en microfoons • SNR-verbeteringbeter dan GSC voor alle reverberatietijden en beschouwde akoestische scenario’s • Grotere robuustheid tegen afwijkingen in signaalmodel: • Microfoonkarakteristieken • Sprekerpositie • VAD: enige a-prori informatie! • Geen effect op SNR-verbetering • Beperkt effect op spraakvervorming • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering -Optimale filtering -Complexiteit -Simulaties • Kanaalschattingen dereverberatie • Besluit
Overzicht • Inleiding • Basisprincipes • Robuuste breedband-bundelvorming • Meerkanaals optimale filtering • Akoestische-kanaalschatting en dereverberatie • Technieken in tijdsdomein • Technieken in frequentiedomein • Gecombineerde ruisonderdrukking en dereverberatie • Besluit en verder onderzoek
Tijdsdomein Frequentiedomein Blinde schatting van akoestische impulsresponsies Bronlokalisatie Ruisonderdrukking en dereverberatie Dereverberatie S Doelstelling • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie -Tijdsdomein -Frequentiedomein -Dereverberatie • Besluit
Signalen Nulruimte Y0(z) H0(z) -H1(z) E(z) E(z) ±α 0 S(z) S Y1(z) H1(z) H0(z) ±α Technieken in tijdsdomein • Signaalmodel voor N=2 en geen achtergrondruis • Deelruimte-gebaseerde techniek: impulsresponsies kunnen berekend uit nulruimte van spraakcorrelatiematrix • (Veralgemeende) eigenvector behorend bij kleinste (veralgemeende) eigenwaarde • Problemen van techniek in tijdsdomein: • gevoeligheid aan onderschatting van kanaallengte • lage-rangmodel in combinatie met achtergrondruis • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie -Tijdsdomein -Frequentiedomein -Dereverberatie • Besluit
Stochastisch-gradiëntalgoritme • Niet-adaptieve techniek vormt basis voor afleiding van adaptief stochastich-gradiëntalgoritme • Gebruik : schatting van gedeeltelijke impulsresponsies schatting van tijdsvertraging voor bronlokalisatie • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie -Tijdsdomein -Frequentiedomein -Dereverberatie • Besluit
Technieken in frequentiedomein • Problemen technieken in tijdsdomein frequentiedomein • Signaalmodel: • Schatting van akoestische transferfunctievector H() uit GEVD van correlatiematrices en • Behorend bij grootste veralgemeende eigenwaarde geen stochastisch-gradiëntalgoritme beschikbaar • Onbekende schaleringsfactor in elke frequentiebin: • kan bepaald worden indien norm gekend is • enkel toepasbaar wanneer positie van bron vrij vast is (bv. desktop, wagen) • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie -Tijdsdomein -Frequentiedomein -Dereverberatie • Besluit
Residuele ruis Gecombineerde ruisonderdrukking en dereverberatie • Filteroperatie in frequentiedomein: • Dereverberatie: genormaliseerd ‘matched filter’ • Gecombineerde ruisonderdrukking en dereverberatie:Z() is optimale schatting van S() • integratie van meer-kanaals Wiener-filter met genormaliseerd ‘matched filter’ • Afweging tussen beide doelstellingen • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie -Tijdsdomein -Frequentiedomein -Dereverberatie • Besluit
Simulaties • N=4, d=2 cm, fs=16 kHz, SNR=0 dB, T60=400 msec • FFT-grootte L=1024, overlap R=16 • Performantiecriteria: • Signaal-ruisverhouding (SNR) • Dereverberatie-index (DI) : • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie -Tijdsdomein -Frequentiedomein -Dereverberatie • Besluit
Eénkanaals-technieken: spectrale informatie Standaard bundelvorming: a-priori veronderstellingen Geen a-priori veronderstellingen Signaal-afhankelijk Meerkanaals Meerkanaals optimale filtering Besluit • Lage signaalkwaliteit door achtergrondruis en reverberatie signaalverbetering om spraakverstaanbaarheid en performantie te verhogen • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit Robuuste breedband- bundelvorming Blinde kanaalschatting dereverberatie
Bijdragen • Robuuste breedband-bundelvorming: • nieuwe kostfuncties voor breedband ‘far-field’-ontwerp (niet-lineair, eigenfilter) • uitbreiding naar ‘near-field’ en ‘mixed near-far field’ • 2 procedures voor robuust ontwerp tegen afwijkingen in versterking en fase • GSVD-gebaseerde optimaal-filtertechniek voor meerkanaals-ruisonderdrukking: • uitbreiding éénkanaals deelruimte-gebaseerde technieken meerdere microfoons • integratie in GSC-structuur • betere performantie en robuustheid dan bundelvorming • Akoestische-kanaalschatting en dereverberatie: • stochastisch-gradiëntalgoritme voor schatten van tijdsvertraging en bronlokalisatie (gekleurde ruis) • gecombineerde ruisonderdrukking en dereverberatiein frequentiedomein • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
Verder onderzoek • Combinatie van meerkanaals Wiener-filter en vaste bundelvorming: • Lage SNR: VAD faalt lage performantie Wiener-filter • Gecombineerde techniek: robuuster wanneer VAD faalt, betere performantie dan vaste bundelvorming in andere scenario’s • Akoestische-kanaalschatting en dereverberatie: • Tijdsdomein: onderliggende reden gevoeligheid • Frequentiedomein: onbekende schalingsfactor BSS ? • andere blinde identificatietechnieken (LP, NL Kalman-filtering) • Verdere vermindering van complexiteit van meerkanaals optimaal-filtertechniek: • Stochastische-gradiëntalgoritmes • Subband/frequentie-domein • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit
Publicaties en projecten • Publicaties: • Journals: 1 gepubliceerd, 4 aanvaard • Conferenties: 11 artikels voorgesteld • Hoofdstuk in Boek ‘Microphone Arrays: Signal Processing Techniques and Applications’ (Eds. M. Brandstein, D. Ward) • Best Student Paper Award IWAENC-2001 • Financiering: • IWT (Instituut voor de aanmoediging van Innovatie door Wetenschap en Technologie in Vlaanderen) : 1998-2002 • Industriële projecten: • Philips-ITCL: ‘Multi-microphone signal enhancement techniques for hands-free telephony and voice-controlled systems’ (MUSETTE I-II) • Cochlear CTCE: `Performance improvement of cochlear implants by innovative speech processing algorithms’ • Inleiding • Basisprincipes • Bundelvorming • Meerkanaalsoptimale filtering • Kanaalschattingen dereverberatie • Besluit