به نام خدا سمینار درس مدلسازی سیستم های بیولوژیکی: مدل محاسباتی نورال بیس تولید و درک گفتار

1. به نام خداسمینار درس مدلسازی سیستم های بیولوژیکی:مدل محاسباتی نورال بیس تولید و درک گفتار ارائه دهنده: ویدا مهدی راده فر استاد راهنما: آقای دکتر توحید خواه نیمسال اول 89-88

2. فهرست مطالب • مقدمه • ساختار مدل : بخش تولید گفتار بخش درک گفتار • مقایسه با مدل DIVA • به دست آوردن اطلاعات گفتار: Babbling Imitation • نتیجه گیری

3. مقدمه • محدودیت عملکرد سیستم های بازشناسی و تلفیق گفتار فعلی • عدم توجه به مراحل پردازش عصبی تولید و درک گفتار • هدف این مطالعه: ارائه یک مدل عصبی پیاده سازی شده کامپیوتری با استفاده از شبکه عصبی ، دارای قابلیت تقلید از پردازش های تولید و درک گفتار انسان

4. ساختار مدل محاسباتی نورال بیس 8

5. بخش تولید گفتار • phonemic map - Phoneticmap – motor plan map - primary motor map - articulation

6. برای سیلاب تکرار شونده حالت phonemic باعث فعالیت یک نرون در نقشه phonetic می شود. • فعال شدن حالت های حسی auditory وsomatosensory و حالت طرح حرکت(motor plan) بواسطه نقشه phonetic • برای سیلاب غیر تکرار شونده، ابتدا طراحی حرکت و سپس motor plan

7. Motor planهماهنگی زمانی حرکت آرتیکولاتورها • Motor executionکنترل و تصحیح طرح حرکت بوسیله فیدبکهای دریافتی • Primary motor mapتشخیص واقعی هر حرکت گفتار • فعال کردن واحدهای موتوری و حرکت آرتیکولاتور

8. مقایسه فیدبک auditory وsomatosensoryآیتم گفتارتولید شده با حالت auditory و somatosensory آموزش دیده • تصحیح motor plan • سه پارامتر v : high-low, front-back, rounded-unrounded • چهار پارامتر c : labial, apical, dorsal, exact closing position • 11 نرون برای نقشه motor plan • 110 نرون برای Primary motor map • 11 نرون برای نقشه auditory • 38 نرون برای نقشه somatosensory • ساختار مدل محاسباتی نورال بیس

9. بخش درک گفتار • Auditoryreceptors – auditory map- phonetic map - phonemicmap

10. مقایسه مدل پیشنهادی با مدل DIVA (DirectionsIntoVelocitiesof Articulators) شباهت ها: • مسیرهای کنترلی feedback و feedforward • شبکه های SOM • روش آموزش babblingو imitation تفاوتها: • ادغام motor planning و motor execution • نقشه phonetic • DIVA: مدلتولید گفتار

11. به دست آوردن اطلاعات گفتار • اطلاعات در نگاشت ها به صورت مقادیر وزنی اتصالات نرون ها است که در طول آموزش تنظیم می شوند. دو مرحله آموزش: • Babbling • Imitation

12. Babbling training • بررسی آیتم های گفتار بدون در نظر گرفتن زبان شناسی آنها • تولید رندوم آیتم های گفتار • گوش دادن به آیتم ها از طریق فیدبک auditiry • تنظیم وزن های بین نقشه های حسی و motor plan بوسیله نقشه phonetic • اطلاعات مستقل از زبان • یادگیری رابطه حسی- حرکتی مجرای صوتی و کنترل عصبی آن یعنی رابطه بین حالت های motor plan و حالت های auditory و somatosensory

13. شامل دو آموزش حالت های vocalic و syllabic • مجموعه آموزشی vocalic شامل 1076 حالت • مجموعه آموزشی syllabic شامل 279 آیتم آموزشی • حالاتحرکتی برای VC و CV بر اساس پارامترهای زیر تعیین می شود.: • دو پارامتر vocalic • حرکات آرتیکولاتور • موقعیت بسته شدن در حروف بی صدا

14. استفاده از شبکه خود سامانده • تنظیم وزن ها بین نرون های لایه جانبی و نرون لایه مرکزی به روش Hebbian

15. Motor plan and auditory link weight values after babbling and imitation training • phonetic map (15*15neurons)

16. Imitation training • تنظیم وزن های بین نقشه phonetic وphonemic • اطلاعات به دست آمده از imitation وابسته به زبان است. • مدل در طول آموزش یاد می گیرد که نرون هایی با ویژگی های phonemic متفاوت را به حالت های حسی متناسب آنها وصل کند. • Phone region: نرونی در این ناحیه قرار دارد که مقدار وزنی اتصال آن با نرون متناظر در نقشه phonemic ،بالای 0.95 باشد. • پردازش آیتم آکوستیک خارجی • تخمین motor plan Positions of all auditory patterns of vocalic training

17. identificationand discrimination test • آموزش 20 مدل مختلف • 20 شنونده مجازی • Measured discrimination: تخمین فاصله نرونها در نقشه phonetic • Calculated discrimination: بر اساس احتمال شناسایی

18. identificationand discrimination test

19. با تشکراز توجه شما