Multirate Adaptive Filtering

1. Multirate Adaptive Filtering

2. Outline • Introduction • The LMS Algorithm • Frequency Domain Adaptive Filtering (FDAF) • Sliding DFT • Subband - Filter Bank methods • IIR and Non-linear Error Functions • Conclusions

3. Introduction • Recent application requires filters with very long impulse response -> need for computationally cheap algorithms. • Ex. Channel equalization, adaptive noise cancellation, acoustic echo cancellation, etc. • IIR has problems with possible instability, slow converges and local minima. • One solution is multirate system. • Frequency domain algorithms enables different step sizes yielding more uniform convergence

4. The LMS Algorithm • Based on steepest decent • Slow convergence • Low complexity

5. The LMS Algorithm - block adaptive • No significant computational gain in time domain • Efficient implementations in frequency domain

6. Frequency Domain Adaptive Filtering (FDAF) • Different step size for different frequency bins, cf. page 18 eq. (15)

7. FDAF - Overlap-Save

8. FDAF - Overlap-Add Virtually the same computational complexity and convergence rate as overlap-save

9. FDAF - Circular-Convolution • Does not minimize the block MSE • Other convergence props. Than linear conv.

10. FDAF - summary • Computational complexity (table IV) - larger gain with large L • The computational gain comes from smart implementations of time domain convolution and correlation (e.g. by using FFT)

11. Sliding DFT • Not a block algorithm - DFT for each new sample • More uniform convergence rate • No gain in computational efficiency • Frequency sampling - Subband filtering.

12. Subband Adaptive Filters Choice of filter is a trade off between aliasing distortion, reduced convergence rate and spectral holes

13. IIR Algorithms • Relative little work on IIR adaptive filters • Improved steady state performance with fewer coefficients • Local minima (output error) • Biased estimates (equation error)

14. Summary • Two types of multirate frequency domain adaptive filters: • 1) DFT • 2) Subband • Faster convergence rate than time-domain counter parts • Introduction of end-to-end delay • Block approaches not good for tracking purposes. • Computational advantages...

15. Questions (general) • Kan man kalla FDAF för multi-rate? Signalerna har ju inte decimerats? • I conclusions säger författaren att FDAFs troligtvis kommer att användas i en vidare utsträckning i framtiden. Artikeln är 10 år gammal och frågan är: stämmer författarens påstående? • Vad är det grundläggande problemet inom adaptiv filtrering med att skatta IIR-filter? Inom sysid är ju ARX inga problem (ARX svarar mot equation-error formulation på sid 33).

16. Questions (general) • Varför är max tillåten steglängd mindre i BLMS än i LMS (s. 17-18)? • Den signal som betecknas 'desired signal' i Shynk, är det mätdata eller vad kommer den ifrån? • Hur gör man i praktiken konvertering av samplingstakt, tex NTSC (14.3181818 MHz) och PAL (17.734475 MHz), där det krävs rationella tal med stor täljare och nämnare för att approximera kvoten? Det verkar väldigt ineffektivt att sampla upp flera tusen gånger för att sedan sampla ned nästan lika många gånger.

17. Questions (general) • I fig 8a+b och ekv (45), allt på sidan 28, verkar det som man har blandat signaler från frekvens- och tidsdomänen. Om man tittar i fig 8a skulle jag vilja ha en IFFT efter den övre summeringen och en FFT innan e(n) matas används för att uppdatera vikterna W_0,...,W_N-1. Har ni någon förklaring? • Han verkar väldigt fäst vid att formulera algoritmerna på ett koncist sätt. (w(k+1) = w(k) + 2*mu*X*E etc.) Kan man göra det även om man inte har skalära signaler?

18. Questions (general) • Man pratar om "constraints" i artikeln Är detta en bra benämning för att plocka bort vissa delar av signalen? • Kan man använda delfrekvensband (subbands) för att kunna använda smalbandiga metoder för signalbehandling av gruppsensorer (array processing) [Krim and Viberg, 1996. http://www.rt.isy.liu.se/~fredrik/spcourse/array.pdf] på bredbandiga signaler?

19. Questions (RLS) • I artikeln jämförs olika block filter baserade på LMS. Finns motsvarande för RLS, eller liknande? Prestanda jämförelser. • I artikeln vill man spara beräkningstid. I vilka tillämpningar krävs detta? Är det inte bättre att använda RLS?

20. Questions (Frequency domain filters) • Varför tillåts variabel steglängd i frekvensbeskrivningen av det adaptiva filtret (14) men ej i tidsdomänfallet (9)? • Artikeln behandlar två varianter av frekvens-adaptiva filter, (DFT och subband-baserade). Måste frekvensadaptiv filtrering ske vid lägre samplingstakt? Vilka andra approacher finns till fekvensadaptiv filtrering? • Vad är egentliga skillnaden på overlap-save och overlap-add. När är den ena att föredra? • Används faltningar enligt overlap-save (s.19) och overlap-add (s.23) i verkligheten? Eller är de förklaringsmodeller?

21. Questions (Frequency domain filters) • En jämförelse görs av beräkningsvinsten för FDAF-algoritmen jämfört med "tids-LMS" i "Table IV". Hur stort är ett normalt filter? dvs. är 64 "reatively small" som författaren säger? Kan man jämföra filter storleken för frekvensadaptiva filter och filter i tidsdomän, ger samma längd liknande resultat?

22. Questions (computational issues) • Det finns en tabell som visar hur beräkningskomplexiteten förbättras för när N blir större. Försämras följningsegenskaper i samma takt beräkningskomplexiteten förbättras eller snabbare, långsammare? • Är subband filtret mindre beräkningskrävande än FDAF filtret? • Vilken noggrannhet krävs för beräkning av fft:n i algoritmerna? Om insignalen är en 8-bitars signal och systemet skall implementeras i en heltalsprocessor vill man helst undvika tex flyttal.

23. Questions (convergence issues) • Finns det fler fördelar med FDAFs än beräkningsmässiga? • Enligt artikeln skall steglängden väljas omvänt proportionell mot signalenergin i aktuellt frekvensintervall. Är detta angreppssätt optimalt eller är det en tumregel? • Överst på sidan 22 står det att "its (overlap-save FDAF) convergence rate can also be improved by compensating for the signal power variations across the frequency bin" Ger detta snabbare konvergens än olika tidsvariabla stegstorlekar för de olika filtertapparna i ekvation (9)?

24. Questions (convergence issues) • Är BLMS användbar med den lägre konvergenshastigheten? Redan LMS är väl(alltför) långsam? • Sid 17, fig. 2. Saknar jämförelse mellan L=1 och L=100 men med samma mängd indata. Naturligtvis blir det bättre om man samtidigt ökar mängden data med en faktor 100.

25. Matlab: • filtfilt • filter • butter • cheby1, cheby2 • besself • fft/ifft • diag • reshape • decimate • resample • interp • adaptlms • adaptnlms • adaptrls