Yazarlar : İ.Yücel Özbek , Prof. Dr. M übeccel Demirekler, Doç. Dr. Tolga Çiloğlu

1. YALITILMIŞ KELİMELERİN KYDPALGORİTMASI İLE BÖLÜTLENMESİNDE SES SÜRE BİLGİSİNİN VE FARKLI ÖZNİTELİK VEKTÖRLERİNİN KULLANILMASI Yazarlar: İ.YücelÖzbek, Prof. Dr. Mübeccel Demirekler, Doç. Dr. Tolga Çiloğlu SIU 2003

2. İçerik: • Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme • KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar • Önerilen çözümler ve elde edilen sonuçlar • Arama uzayının budanması • Ses süre bilgilerine ait olabilirliliklerin kullanılması • Farklı öznitelik vektörlerinin kullanılması • Sonuç SIU 2003

3. Bölüt sınırları Bölüt içi bozunum Toplam bozunum KYDP tabanlı konuşma bölütlendirme • KYDP-tabanlı konuşma bölütlendirme yöntemi • dinamik programlamaya dayalı bir yöntemdir. • Bölüt sınırlarını, bölüt içlerindeki toplam bozunumu en aza indirecek şekilde belirler SIU 2003

4. Bölüt içerindeki bozunum nedir? Bölüt içerisinde kalan öznitelik vektörlerinin, bölütün ortalama öznitelik vektörüne olan uzaklıklarının toplamına bölüt içerisindeki bozunum denir SIU 2003

5. b1 b2 b3 O3 * O1 * d3 O1 * O3 * µ d1 d2 * O2 *O2 Örnek: ‘siu’ kelimesinin yedi tane öznitelik vektöründen oluştuğunu ve bunların aşağıdaki şekilde gösterildiğini kabul edelim [O1, O2, O3 , O4, O5, O6, O7] b1 içerisindeki bozunum=d(1, 3) =? Toplam bozunum= ? d(1, 3)=d1+d2+d3 Toplam bozunum= d(1, 3)+d(4, 6)+d(7, 9) SIU 2003

6. Toplam bozunumun en küçük olduğu bölüt sınırları nasıl bulunur? Toplam bozunumu en küçük yapacak bölüt sınırları kat yapılandırmalı dinamik programlama algoritması ile bulunur Bölüt sınırları SIU 2003

7. Kat yapılandırmalı dinamik programlama KYDP algoritması toplam bozunumu en küçük yapacak bölüt sınırlarını aşağıdaki tablo yardımıyla bulur Kat-N * * * * * * * Kat-2 Kat-1 Öznitelik Vektörleri Katlar bölüt sayısını gösterir O(1) O(2) O(M) * * * * SIU 2003

8. Örnek: Yedi öznitelik vektöründen oluşan ‘siu’ kelimesini KYDP algoritmasıyla bölütlenmesi Kat-3 u Kat-2 i D2(3) D2(4) D2(5) D2(6) D2(7) En iyi yol D1(2) D1(4) D1(6) Kat-1 s d (1,3) d (1,1) d (1,5) SIU 2003

9. Toplam ÜN ÜN Toplam 5248/6810 51./111 % % % 77 % 46 ÜN PA SR PS GE YD BÖP SES TOPLAM ÜN 51./111 17./21 433./488 9./11 374./463 371./614 464./498 91./108 1810./2314 % 46% 81% 89% 82% 81% 60% 93% 84% 78% PA 664./737 0./2 20./29 1./2 11./11 33./48 22./49 11./15 762./893 % 90% 0% 69% 50% 100% 69% 45% 73% 85% SR 380./415 2./6 22./44 2./5 11./13 30./40 104./125 31./36 582./684 % 92% 33% 50% 40% 85% 75% 83% 86% 85% PS 110./117 0./0 2./4 1./1 1./1 7./9 9./9 3./3 133./144 % 94% %NaN 50% 100% 100% 78% 100% 100% 92% GE 212./305 5./9 18./22 7./8 0./8 7./23 46./100 31./35 326./510 % 70% 56% 82% 88% 0% 30% 46% 89% 64% YD 368./585 2./2 30./35 1./1 23./28 32./61 87./111 8./8 551./831 % 63% 100% 86% 100% 82% 52% 78% 100% 66% BÖP 65./112 657./919 9./9 120./130 14./16 5./11 11./21 1./4 882./1222 % 58% 71% 100% 92% 88% 45% 52% 25% 72% SES 70./73 11./13 34./35 0./0 17./17 22./23 48./51 0./0 202./212 % 96% 85% 97% %NaN 100% 96% 94% %NaN 95% TOP 1920./2455 694./972 568./666 141./158 451./557 507./829 791./964 176./209 5248./6810 % 78% 71% 85% 89% 81% 61% 82% 84% 77% KYDP yöntemiyle elde edilen deneysel sonuç SIU 2003

10. İçerik: • Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme • KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar • Önerilen çözümler ve elde edilen sonuçlar • Arama uzayının budanması • Ses süre bilgilerine ait benzerliklerin kullanılması • Farklı öznitelik vektörlerinin kullanılması • Sonuç SIU 2003

11. KYDP algoritması ile karşılaşılan sorunlar • İşlem yükünün fazla olmasından dolayı bölütlemeyi uzun sürede gerçekleştirmektedir • Kısa (Ötümlü patlamalılar) veuzun(Ünlüler,vb) sürede geçekleşen fonetik birimlere ait sınırları bulmada düşük başarı göstermektedir SIU 2003

12. İçerik: • Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme • KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar • Önerilen çözümler ve elde edilen sonuçlar • Arama uzayının budanması • Ses süre bilgilerine ait benzerliklerin kullanılması • Farklı öznitelik vektörlerinin kullanılması • Sonuç SIU 2003

13. Arama uzayının budanması • Elimizde bulunan ses veritabanı yardımıyla ses birimlerine ait • maksimum ve minimum süre bigileri çıkarıldı • Ses süre bilgilerinden faydalanarak KYDP algoritmasının arama uzayı budandı Normal arama uzayı Katlar Budanmış arama uzayı Öz. Vektörler SIU 2003

14. Toplam Toplam Toplam Toplam 5248/6810 5494/6810 % % % 77 % 81 Arama uzayının budanmasının algoritmanın performansına etkisi • Budanma sonucu algorıtmanın işlem yükü azaltıldığından KYDP algorıtmasının hızı % 60-70 artırıldı. Doğruluk oranı ise %4 artırıldı. Performans % 4 artırıldı SIU 2003

15. İçerik: • Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme • KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar • Önerilen çözümler ve elde edilen sonuçlar • Arama uzayının budanması • Ses süre bilgilerine ait benzerliklerin kullanılması • Farklı öznitelik vektörlerinin kullanılması • Sonuç SIU 2003

16. Ses birimlerine ait süre bilgilerinin gamma fonksiyonu ile modellenmesi • Bütün ses birimlerinin süre bilgileri gamma fonksiyonu yardımıyla modellendi • Modeller kullanılarak bölüt içlerindeki bozunumlar ağırlıklandırıldı x (= n-i) süresine ait olabilirlilik değeri α ve β model parametreleri Ağırlıklaştırılmış yeni bozunum i çerçevesin den n’e kadar olan bölüte ait bozunum SIU 2003

17. Toplam Toplam Toplam Toplam 5494/6810 5666/6810 % % % 81 % 83 Ağırlıklı bozunumların kullanılmasının algoritmanın performansına etkisi Performans % 2 artırıldı SIU 2003

18. İçerik: • Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme • KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar • Önerilen çözümler ve elde edilen sonuçlar • Arama uzayının budanması • Ses süre bilgilerine ait benzerliklerin kullanılması • Farklı öznitelik vektörlerinin kullanılması • Sonuç SIU 2003

19. Log enerji + 0.kepstralkatsayı + Mel-ölçeklikepstrum Delta-Delta log enerji + Delta-Delta 0. kepstral + Delta-Delta kepstrum Delta log enerji + Delta 0.kepstral + Delta kepstrum Farklı öznitelik vektörlerinin kullanılması Mel-Cepstral Ve Enerji analiz Fourier Dönüşüm Zamana Göre Türev Zaman Göre Türev Kelime 42 Boyutlu öznitelik vektörü SIU 2003

20. Toplam Toplam Toplam Toplam 5666/6810 5792/6810 % % % 83 % 85 Farklı öznitelik vektörlerinin kullanılmasının algoritmanın performansına etkisi Performans % 2 artırıldı SIU 2003

21. ÜN PT SR PS GE YD PÖB SES Toplam ÜN 52./111 19./21 427./488 11./11 392./463 431./614 482./498 96./108 1910./2314 % 47% 90% 88% 100% 85% 70% 97% 89% 83% PT 658./737 1./2 19./29 1./2 6./11 37./48 36./49 15./15 773./893 % 89% 50% 66% 50% 55% 77% 73% 100% 87% SR 391./415 3./6 17./44 0./5 13./13 35./40 117./125 33./36 609./684 % 94% 50% 39% 0% 100% 88% 94% 92% 89% SR 107./117 0./0 3./4 0./1 1./1 9./9 9./9 3./3 132./144 % 91% %NaN 75% 0% 100% 100% 100% 100% 92% GE 256./305 7./9 17./22 7./8 0./8 11./23 81./100 32./35 411./510 % 84% 78% 77% 88% 0% 48% 81% 91% 81% YD 426./585 2./2 32./35 1./1 22./28 41./61 99./111 7./8 630./831 % 73% 100% 91% 100% 79% 67% 89% 88% 76% PÖB 97./112 855./919 9./9 119./130 14./16 9./11 15./21 3./4 1121./1222 % 87% 93% 100% 92% 88% 82% 71% 75% 92% SES 72./73 12./13 34./35 0./0 17./17 22./23 49./51 0./0 206./212 % 99% 92% 97% %NaN 100% 96% 96% %NaN 97% TOP 2059./2455 899./972 558./666 139./158 465./557 595./829 888./964 189./209 5792./6810 % 84% 84% 88% 83% 72% 92% 90% 85% 92% Uyarlanmış KYDP tabanlı konuşma bölütlendirme algoritması ile elde edilen detaylı deney sonucu SIU 2003

22. Sonuç; • KYDP tabanlı konuşma bölütlendirme algoritması • arama uzayının budanması, • ses birimlerinin gamma fonksiyonları ile • modellenerek bölütler ait sürelerin alabilirlilik • değerlerini kullanılması ve • farklı öznitelik vektörlerinin kullanılması • ile doğruluk oranı 6810 bölüt sayısı için % 77 den • %85’e yükseltilmiştir SIU 2003

23. TEŞEKKÜRLER.., SIU 2003

24. Bölüt içerindeki bozunum nedir? Bölüt içerisinde kalan öznitelik vektörlerinin, bölütün ortalama öznitelik vektörüne olan uzaklıklarının toplamına bölüt İçerisindeki bazunum denir SIU 2003

25. Toplam Toplam 5248/6810 % % 77 fff b, rveeselerineait süre modelleri SIU 2003

26. SIU 2003

27. SIU 2003