1 / 32

مدلسازی تولید گفتار

مدلسازی تولید گفتار. سمینار درس مدلسازی سیستم های بیولوژیکی استاد درس: دکتر فرزاد توحید خواه ارائه دهنده: سمیه شاهسوارانی تاریخ ارائه: 13-3-87. مکانیزم تولید گفتار در انسان. مکانیزم تولید گفتار از چهار پروسه تشکیل شده است: 1- پردازش زبان

dougal
Download Presentation

مدلسازی تولید گفتار

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. مدلسازی تولید گفتار سمینار درس مدلسازی سیستم های بیولوژیکی استاد درس: دکتر فرزاد توحید خواه ارائه دهنده: سمیه شاهسوارانی تاریخ ارائه: 13-3-87

  2. مکانیزم تولید گفتار در انسان • مکانیزم تولید گفتار از چهار پروسه تشکیل شده است: 1- پردازش زبان 2- تولید فرمان های موتوری (motor commands) به سمت اندام های صوتی (آرتیکولاتورها) 3- حرکت هماهنگ آرتیکولاتورها 4- انتشار هوای فرستاده شده از سمت ریه ها به صورت گفتار

  3. گفتار از تعامل بین سه بخش زیر تشکیل شده است: آکوستیکی سوماتوسنسوری موتوری

  4. رهیافت های مدل سازی تولید گفتار 1- مدل سازی عملگرهای سیستم گفتارسنتزکننده های گفتار 2-مدل سازی سیستم عصبی گفتار جنبه کیفی جنبه محاسباتی مدلDIVA

  5. Related Papers  Bernd J. Kröger ,”Neural models of speech production and speech acquisition”,2006  Frank H. Guenther & Joseph S.Perkell,” A NEURAL MODEL OF SPEECH PRODUCTION AND SUPPORTING EXPERIMENTS”,2004  Frank H. Guenther & Satrajit S.Ghosh & Alfonso NietoCastanon,” A NEURAL MODEL OF SPEECH PRODUCTION”,2003  Frank H. GUENTHER and Joseph S. PERKELL,” A Neural Model of Speech Production and Its Application to Studies of the Role of Auditory Feedback in Speech”,2002

  6. Main paper A Neural Network Model Of Speech Acquisition And Motor Equivalent Speech Production Running title: Speech acquisition and motor equivalence Frank H. Guenther Boston University Center for Adaptive Systems and Department of Cognitive and Neural Systems Biological Cybernetics (1994) vol. 72 , pp. 43-53

  7. آناتومی تولید گفتار

  8. آرتیکولاتورهای مهم • Lips • Jaw • Tongue • Velum (soft palate) در نهایت تولید گفتارتوسط حرکت آرتیکولاتورها صورت میگیرد.

  9. یک نوزاد چگونه مهارت موتوری لازم برای تولید آواهای مربوط به زبان خودش را کسب میکند؟

  10. در زمانی که نوزاد رشد می کند، مشخصه های فیزیکی مانند اندازه و شکل آرتیکولاتورها تغییر می کند. همچنین ممکن است آرتیکولاتورها دچار آسیب موقت یا دائم شوند. این تغییرات بر روی سیگنال آکوستیکی که توسط یک سری فرمان های قشر موتوری مغز تولید شده است تاثیر می گذارد. برای اینکه ویژگی سیگنال آکوستیکی مورد نظر در شرایط متفاوت حفظ شود، لازم است که چگونگی تعامل بین بخش های آکوستیکی و سنسوری و موتوری با گذشت زمان تغییر کند. این بدان معناست که سیستم تولید گفتار باید تطبیق پذیر((adaptive باشد.

  11. Motor Equivalence • در فرآیند تولید گفتار به طور ذاتی، فعالیت های متفاوت موتوری برای تولید یک صوت گفتار یکسان میتواند مورد استفاده قرار گیرد. به زبان ریاضی، یک نگاشت چند به یک از قشر موتوری به تولید یک صوت وجود دارد.

  12. Main paper A Neural Network Model Of Speech Acquisition And Motor Equivalent Speech Production Running title: Speech acquisition and motor equivalence Frank H. Guenther Boston University Center for Adaptive Systems and Department of Cognitive and Neural Systems Biological Cybernetics (1994) vol. 72 , pp. 43-53

  13. مدل محاسباتی که برای مدلسازی گفتار در اینجا ارائه می شود، DIVA است. Guenther FH (1993) A self-organizing neural model for motor equivalent phoneme production. In:Proceedings of the World Congress on Neural Networks, Portland. Erlbaum, Hillsdale NJ, pp. III-6-9  Guenther FH (1992) Neural models of adaptive sensory-motor control for flexible reaching and speaking.Ph.D. dissertation, Boston University

  14. DIVA model Directions Into Velocities of Articulators

  15. در این مدل از دو نوع متفاوت ساختار عصبی برای نشان دادن اطلاعات استفاده می شود.

  16. سطوح اصلی مدل  Sound (auditory) level  Orosensory (somatosensory) level  Articulatory level

  17. یادگیری بین سطوح مدل دو نگاشت یادگیری وجود دارد. • Phonetic-to-orosensory mapping • Orosensory-to-articulatory mapping

  18. Articulator Velocity Vector (AVV)

  19. Go signal

  20. Speech Recognition System

  21. Speech Sound Map

  22. Orosensory Direction Vector (ODV)

  23. اکتساب مهارت های گفتاری در DIVA • اکتساب مهارت های گفتاری در مدل DIVA به معنای پیدا کردن پارامترها یا وزن های سیناپسی مناسب برای نگاشت های phonetic-to-orosensory و orosensory-to-articulatory در طول فاز یادگیری می باشد.

  24. مثال

  25. مکانیزم یادگیری Vector Associative Map method Gaudiano P, Grossberg S (1991), Vector associative maps: Unsupervised real-time error-based learning and control of movement trajectories. Neural Networks 4: 147-183

  26. مدل سازی محاسباتی The activity of an orosensory direction vector cell

  27.  Learning law governing synaptic weights

  28. Articulator Velocity Vector cell activities

  29.  Learning law governing synaptic weights

  30. مراجع و منابع 1- ايوب دليری، پايان نامه كارشناسي ارشد، مدلسازي عصبي عضلاني سيستم توليدگفتار، 1385 2- Masaaki Honda," Human Speech Production Mechanisms”, NTT Technical Review,2002 3- Frank H. Guenther,” A Neural Network Model Of Speech Acquisition And Motor Equivalent Speech Production”,1994

  31. با تشکر از توجه شما 

More Related