Metody syntezy dźwięku

1. Metody syntezy dźwięku Sławomir K. Zieliński Politechnika Gdańska Wydział Elektroniki, Telekomunikacji i Informatyki Katedra Inżynierii Dźwięku e-mail: slawek@sound.eti.pg.gda.pl

2. wprowadzenie zastosowanie syntezy dźwięku elektroniczne instrumenty muzyczne komputerowe karty dźwiękowe systemy multime-dialne systemy telekomunika-cyjne

3. wprowadzenie metody syntezy dźwięku przetwarzaniezapisu metodywidmowe algorytmyabstrakcyjne modelowaniefizyczne

4. wprowadzenie - schemat syntetyzera

5. wprowadzenie • główne elementy torów syntezy: • EG (ang. Envelope Generator) - generator obwiedni • LFO (ang. Low Frequency Oscillator) generator wolnych przebiegów - • VCA - (ang. Voltage Controlled Amplifier) wzmacniacz sterowany napięciowo • VCF - (ang. Voltage Controlled Filter) - filtr sterowany napięciowo

6. wprowadzenie - obwiednia dźwięku

7. wprowadzenie rodzaje syntetyzerów: polifoniczne monofoniczne jednobrzbieniowe wielobrzmieniowe (ang. multitimbral)

8. wprowadzenie metody syntezy dźwięku przetwarzaniezapisu metodywidmowe algorytmyabstrakcyjne modelowaniefizyczne • sampling • metoda tablicowa

9. przetwarzanie zapisu - schemat samplera

10. przetwarzanie zapisu Jaka różnica? syntetyzer tablicowy sampler syntetyzer tablicowy = sampler bez możliwości nagrywania dźwięków i ich edycji

11. przetwarzanie zapisu • zaleta: • wysoka wierność brzmień • wady: • wymagane duże pojemności pamięci • małe możliwości artykulacyjne

12. plan wykładu metody syntezy dźwięku przetwarzaniezapisu metodywidmowe algorytmyabstrakcyjne modelowaniefizyczne • metoda subtraktywna • metoda addytywna

13. metody widmowe - metoda subtraktywna

14. metody widmowe - metoda subtraktywna

15. metody widmowe - metoda subtraktywna ak i br - współczynniki filtru, u(n) - wymuszenie (ciąg innowacji), x(n) - n-ta próbka sygnału syntetycznego, G - wzmocnienie filtru.

16. metody widmowe - metoda subtraktywna

17. metody widmowe - metoda subtraktywna • zalety: • mała złożoność obliczeniowa • interesujące brzmienia • możliwość zastosowania do syntezy mowy • wady: • niezadowalająca wierność brzmień

18. metody widmowe - metoda addytywna

19. metody widmowe - metoda addytywna

20. metody widmowe - metoda addytywna x(n) - sygnał syntetyczny w chwili „nT” T - okres próbkowania Ak(n) - wartość amplitudy n-tej próbki k-tej składowej, pojawiającej się z okresem T, 2 nTFk(n) - nieliniowa poprawka fazy, M - liczba składowych, 1 - pulsacja składowej podstawowej

21. metody widmowe - metoda addytywna

22. metody widmowe - metoda addytywna metoda addytywna metoda addytywna • PV • ang. Phase Vocoder • fn = nf1 • MQ • McAulay i Quatieri • fn nie musi być = nf1

23. metody widmowe - metoda addytywna • sposoby kompresji danych: • aproksymacja łamanymi • synteza addytywna grupowa

24. metody widmowe - metoda addytywna grupowa

25. metody widmowe - metoda addytywna • efekty dodatkowe: • kompresja lub ekspansja czasowa dźwięku • transpozycja dźwięku • redukcja szumu

26. metody widmowe - metoda addytywna • zaleta: • wysoka wierność brzmienia • wady: • duża złożoność obliczeniowa • trudność w doborze widm bazowych (w przypadku metody addytywnej grupowej)

27. plan wykładu metody syntezy dźwięku przetwarzaniezapisu metodywidmowe algorytmyabstrakcyjne modelowaniefizyczne • FM • metoda przekształcania fali • algorytmy oparte na zjawiskach chaosu

28. algorytmy abstrakcyjne - FM amplituda częstotliwość nośna okres próbkowania częstotliwość modulująca indeks modulacji

29. algorytmy abstrakcyjne - FM

30. algorytmy abstrakcyjne - FM

31. algorytmy abstrakcyjne - FM Jn - funkcja Bessela n-tego rzędu

32. algorytmy abstrakcyjne - FM

33. algorytmy abstrakcyjne - FM • zaleta: • mała złożoność obliczeniowa • wady: • zła wierność brzmienia • trudność w doborze parametrów

34. algorytmy abstrakcyjne - przekształcanie fali

35. algorytmy abstrakcyjne - przekształcanie fali

36. algorytmy abstrakcyjne - przekształcanie fali wielomiany Czebyszewa: własność:

37. Widmo dźwięku fagotu o wysokości a1 (440 Hz) w stanie quasi-ustalonym: (a) dźwięk oryginalny; (b) dźwięk syntetyczny uzyskany metodą przekształcania fali. Podczas syntezy uwzględniono dwadzieścia harmonicznych algorytmy abstrakcyjne - przekształcanie fali

38. algorytmy abstrakcyjne - przekształcanie fali

39. algorytmy abstrakcyjne - przekształcanie fali • zaleta: • mała złożoność obliczeniowa • możliwość analitycznego obliczenia funkcji przekształcającej • wada: • trudność generacji widma ewolucyjnego • trudność generacji widma nieharmonicznego

40. algorytmy abstrakcyjne - fraktale funkcja Weierstrassa: samopodobieństwo gdyM , to a więc

41. algorytmy abstrakcyjne - fraktale Przykład niezmienności fraktali: (a) wykres oryginalnej funkcji Weierstrassa w(t); (b) wykres przeskalowanej funkcji Weierstrassa w(t / 2). Jak widać, wykresy te są jakościowo podobne do siebie. Ze względu na ich podobieństwo, słuchowo percypowana wysokość dźwięku jest taka sama, natomiast występuje nieznaczna różnica brzmienia. W przypadku klasycznych funkcji dźwięki te różniłyby się o oktawę, tzn. dźwięk reprezentowany na wykresie dolnym byłby oktawę niższy. Przy wykreślaniu powyższych funkcji oraz podczas syntezy dźwięku założono następujące parametry:  = 1,  = 2, M = 7. Ze względu na wykorzystanie funkcji Weierstrassa do syntezy dźwięku w obu przypadkach oryginalne równanie (8-9) dodatkowo przeskalowano o czynnik 2 f1, gdzie f1 = 50 Hz. Fraktale można z powodzeniem zastosować do generowania znanych z psychoakustyki tonów Sheparda i Risseta

42. algorytmy abstrakcyjne - fraktale Widma dźwięków uzyskanych na podstawie funkcji wykreślonych na rys. 8-15: (a) funkcja Weierstrassa w(t); (b) przeskalowana funkcja Weierstrassa w(t / 2). Postrzegana słuchowo wysokość powyższych dźwięków jest taka sama, różnica występuje jedynie w ich barwie (dźwięk z rysunku (b) posiada barwę „ciemniejszą”)

43. algorytmy abstrakcyjne - fraktale • zaleta: • oszczędność obliczeniowa • wada: • trudność identyfikacji parametrów • mała wierność dźwięków

44. algorytmy abstrakcyjne - generatory chaotyczne współczynniki n - ta próbka generowanego sygnału

45. algorytmy abstrakcyjne - generatory chaotyczne generator Chua

46. algorytmy abstrakcyjne - generatory chaotyczne • zaleta: • oszczędność obliczeniowa • wada: • trudność identyfikacji parametrów • mała wierność dźwięków

47. plan wykładu metody syntezy dźwięku przetwarzaniezapisu metodywidmowe algorytmyabstrakcyjne modelowaniefizyczne • metoda matematyczna • metoda falowodowa

48. modelowanie fizyczne - metoda matematyczna instrument muzyczny model matematyczny dźwięk

49. modelowanie fizyczne - metoda matematyczna instrument muzyczny model matematyczny dźwięk

50. modelowanie fizyczne - metoda matematyczna