PowerPoint Template

بسم الله الرحمن الرحيم PowerPoint Template بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي www.themegallery.com استاد راهنما: دكتر مينايي دانشجو: عاطفه پاكزاد www.themegallery.com

Contents فهرست • مقدمه‌اي بر برچسب‌زني • تجزيه‌ي وابستگي • بررسي روش پايپلاين و ضرورت استفاده از روش‌هاي توأم • بررسي روش‌هاي توأم • روش‌هاي مبتني بر گذار • روش‌هاي مبتني بر گراف • روش‌هاي تركيبي • پیشنهاد پروژه Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents مقدمه‌ • برچسب‌زني اجزاي سخن • انتساب برچسب‌هاي واژگاني به كلمات يك متن • برچسب • مبهم • غير مبهم Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي • تجزيه‌ي وابستگي • راهي براي تجزيه‌ي نحوي زبان طبيعي • تجزيه و تحليل ساختار وابستگي جمله به صورت خودكار Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

برچسب‌زني اجزاي سخن‌ Contents • برچسب‌گذاري قانون‌محور Click to add Title ابهام‌زدايي با قوانين برچسب‌گذاري • برچسب‌گذاري دوباره • انتخاب انتقال (سبب بهبود) • محتمل‌ترين برچسب Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي • برچسب‌گذاري تصادفي • مبتني بر روش‌هاي احتمالي و آماري • مانند HMM Click to add Title Click to add Title • برچسب‌گذاري انتقال‌محور Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents تجزيه‌ي وابستگي‌ ريشه‌ي جمله Click to add Title قيد فاعل Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي وابسته پيشين مفعول Click to add Title همپايه اسم فعل‌يار علايم نگارشي وابسته پسين مضاف‌اليه Click to add Title پژوهشگران ارتباط . زبان امروزه ريشه تفكر كرده‌اند را و اثبات Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents گراف وابستگي‌ Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي افكنشي آمدنت آگاه ريشه هستم از Click to add Title Click to add Title Click to add Title غيرافكنشي هستم كه مي‌آيي آگاه ريشه • عاطفه پاكزاد www.themegallery.com

Contents روش‌هاي تجزيه‌ي وابستگي‌ • روش‌هاي مبتني بر دستور • روش‌هاي مبتني بر داده Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title • روش‌هاي مبتني بر گذار • روش‌هاي مبتني بر گراف • روش‌هاي تركيبي Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

روش‌هاي مبتني بر داده‌ Contents • روش‌هاي مبتني بر گذار Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي جستجوي قطعي سامانه گذار Click to add Title انتخاب حريصانه گذار با بيشترين امتياز شروع با حالت‌هاي اوليه محدود Click to add Title • آموزش با روش‌هاي دسته‌بندي استاندارد • استنتاج محلي • پيش‌بيني يك گذار از ميان تمام گذارهاي ممكن Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents سيستم گذار Click to add Title S=(C,T,) Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title مجموعه‌اي از گذارها نگاشت به يك ترتيب اوليه مجموعه ترتيب نهايي Click to add Title Click to add Title هر اقدام داراي امتيازي است. • عاطفه پاكزاد www.themegallery.com

Contents سيستم گذار بافر پشته Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title اقدام برچسب‌هاي اجزاي سخن Click to add Title iP Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents سيستم گذار پشته Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي مجموعه كمان‌ها Click to add Title اقدام Click to add Title d Click to add Title j i • عاطفه پاكزاد www.themegallery.com

Contents سيستم گذار پشته بافر Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي j j Click to add Title Click to add Title اقدام SWAP Click to add Title • عاطفه پاكزاد www.themegallery.com

روش‌هاي مبتني بر داده‌ Contents • روش‌هاي مبتني بر گراف Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي روي مجموعه‌ي يال‌هاي ممكن تعريف تابع امتياز جستجوي گرافي براي بيشينه كردن تابع امتياز تخمين پارامترهاي تابع امتياز Click to add Title Click to add Title • فاز يادگيري • فاز تجزيه Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents سيستم مبتني بر گراف Click to add Title يك بخش امتيازدهي Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

روش‌هاي تركيبي Contents • در زمان يادگيري Click to add Title • روش‌هاي تركيبي Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title • در زمان تجزيه • مبتني بر خصوصيات • توسعه‌ي خصوصيات الگو با خصوصيات الگوي راهنما • يك تابع امتياز براي هر دو الگو Xs: • x: مجموعه‌ي يال‌هاي وابستگي • x: مجموعه‌ي زوج‌هاي حالت-گذار • ورودي: بردار ويژگي k بعدي • آموزش يعني الگو چه زماني از خصوصيات راهنما بهره ببرد. Click to add Title • تجزيه‌كننده‌هاي رأي‌گيري • تجزيه‌كننده‌هاي پشته‌سازي Click to add Title • عاطفه پاكزاد www.themegallery.com

گام اول: يافتن دنباله‌ي برچسب اجزاي سخن بهينه روش پايپلاين Contents • گام دوم: يافتن درخت وابستگي بهينه Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

معايب روش پايپلاين ضرورت روش‌هاي توأم Contents • كاربرد واقعي تجزيه‌ي وابستگي • تطبيق دامنه Click to add Title • تجزيه‌ي متن خام Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي انتشار خطا در تجزيه‌ي وابستگي مثال: اسم صفت صفت نقش مفعولي نمي‌گيرد. عدم استفاده از اطلاعات نحوي مهم و مفيد در ابهام‌زدايي برچسب‌زن Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

روش‌هاي توأم Contents هدف:‌ حل همزمان دو مسئله‌ي Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title يادگيري همزمان وزن ويژگي‌هاي اجزاي سخن و ويژگي‌هاي نحوي : الحاق و Click to add Title • عاطفه پاكزاد www.themegallery.com

الگوريتم جستجوي پرتو • ورودي‌ها: جملهx و بردار وزنwو پارامترهاي هرس و • و : تعداد فرضيه‌هاي مجاز • فرضيه‌ h( h.c, h.s, h.f ) • ليست beam: فرضيه‌ها در اين ليست نگهداري و به صورت نزولي مرتب‌سازي مي‌شوند. • h0.c=h0.s=0, h0.f=0(مقداردهي اوليه) • در حلقه اصلي ليستي از فرضيه‌هاي جديد منتج و در ليست موقت قرار مي‌گيرد. • سپس اين فرضيه‌ها هرس شده و به عنوان مقدار جديد در beam قرار مي‌گيرد. • خاتمه حلقه:‌ زماني كه همه‌ي فرضيه‌ها شامل ترتيب نهايي باشند. • فرضيه‌ي با بيشترين امتياز درخت وابستگي را مي‌دهد. • براي يادگيري بردار وزن از پرسپترون استفاده مي‌شود. Contents مدل‌هاي توأم مبتني بر گذار • يادگيري ساختاري سراسري • جستجوي پرتو • افزايش فضاي جستجو در روش توأم • نياز به ويژگي‌هاي جديد • استخراج فضاي ويژگي غني‌تر نسبت به رده‌بندهاي محلي Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

راهكار رويكرد افزايشي Contents • عدم استفاده از برچسب‌هاي اجزاي سخن پيش‌بيني براي مشخص كردن اقدام بعدي • فضاي جستجوي بزرگ Click to add Title • برنامه‌نويسي پويا براي ادغام حالت‌هاي تجزيه‌ي معادل( داراي بردار ويژگي مشابه) • دو چالش Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي • ويژگي‌هاي تأخيري براي غلبه بر فقدان اطلاعات برچسب اجزاي سخن پيش‌بيني Click to add Title Click to add Title • پرتو ساده كارا نيست • روش چپ به راست Click to add Title • عاطفه پاكزاد www.themegallery.com

جستجوي پرتو با DP بر اساس رويكرد افزايشي Contents • امتياز دروني() • امتياز پيشوندي( Click to add Title • ويژگي‌هاي تأخيري • مشخص شدن اجزاي سخن اولين كلمه در صف بعد از جابه‌جايي به پشته • تبديل ويژگي‌هاي تأخيري گام قبلي به ويژگي‌هاي غيرتأخيري با SHIFT(t) • ارزيابي مانند ويژگي‌هاي معمول مرتب كردن حالت‌ها: Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title • برچسب زمان جابه‌جايي كلمه به آن نسبت داده مي‌شود. • هدف يافتن است. • آموزش با پرسپترون ميانگين Click to add Title • عاطفه پاكزاد www.themegallery.com

مدل‌هاي توأم مبتني بر گراف Contents • راهكار: هرس برچسب‌هاي اجزاي سخن و وابستگي‌هاي نامحتمل و يا با احتمال كمتر Click to add Title • چالش: بزرگ بودن گراف Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents مدل‌هاي توأم مبتني بر گراف Click to add Title ساختارهايDPو مشتقات مرتبه اول الگوريتم رمزگشايي مدل نسخه 1 Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents مدل‌هاي توأم مبتني بر گراف Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title ساختارهای DP و مشتقات مرتبه‌ی اول الگوریتم رمزگشایی نسخه‌ی 2 ویژگی‌های نحوی اطراف و تریگرام اجزاي سخن را نيز در نظر گرفته است. Click to add Title • به هر spanيك پدربزرگ اضافه شده تا grandparent وgrandsiblingرا نشان دهد. • sibling span نيزافزوده شده است. • عاطفه پاكزاد www.themegallery.com

ابهامات اجزاي سخن Contents الگوريتم منفعل-پرخاشگر جداگانه • نقش مشابه در ساختارهاي نحوي • مدل توأم ضعيف است • حساس به نحو • مدل توأم قوي است Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title وزن ويژگي‌هاي اجزاي سخن خيلي كمتر از وزن ويژگي‌هاي نحوي است. Click to add Title اين الگوريتم وزن‌های ویژگی‌های اجزاي سخن را با استفاده از چارچوب بهینه‌سازی توأم بالا می‌برد. Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents الگوريتم منفعل-پرخاشگر جداگانه استفاده از مدل توأم مرتبه دوم (dep+sib+grd) جهت تجزيه‌ي وابستگي Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents مدل توأم تركيبي مدل توأم پشته‌اي Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي سطح 0 سطح 1 مدل توأم مبتني بر گراف JGraph(JTrans) JGraph: مدل سطح يك JTrans: مدل سطح صفر خروجیJtrans :ويژگي‌هايراهنما () Click to add Title h()=h( x,g(x) ) x Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents جمع‌بندي و پيشنهادها • كاربردهاي تجزيه‌ي وابستگي • سيستم‌هاي پرسش و پاسخ، سيستم‌هاي ترجمه‌ي ماشيني و ... Click to add Title • انتشار خطا درمدل پايپلاين و عدم استفاده از اطلاعات نحوي مفيد • برطرف شدن مشكل با حل همزمان دو وظيفه در مدل‌هاي توأم Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي افت دقت تجزيه‌گر بر روي متن خامي كه روي آن آموزش نديده است Click to add Title در دسترس نبودن يا وابسته به زبان بودن كدها Click to add Title • عملكرد خوب مدل‌هاي توأم در زبان‌هاي با تعامل زياد بين نحو و مورفولوژي • در اين زبان‌ها نمي‌توان بدون در نظر گرفتن يكي ديگري را ابهام‌زدايي كرد. • غني بودن زبان چيني از نظر ابهامات اجزاي سخن Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents پيشنهاد پروژه • موضوع پروژه: • » ارائه و بهینه سازی مدل توأم برای برچسب زنی اجزای سخن و تجزیه وابستگی در متون خام زبان فارسی « Click to add Title • تطبيق و راه‌اندازي ابزار موجود مدل توأم موجود براي زبان فارسي • برچسب‌گذاري و بهينه‌سازي خصوصيات اين مدل براي زبان فارسي • نياز به اجراي بلادرنگ براي بسياري از كاربردهاي تجزيه • تمركز بر روي مدل‌هاي توأم مبتني بر گذار به دليل زمان اجراي خطي Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents مراجع اصلي 1. Li, Z., et al. Joint models for Chinese POS tagging and dependency parsing. in Proceedings of the Conference on Empirical Methods in Natural Language Processing. 2011. Association for Computational Linguistics. 2. Hatori, J., et al. Incremental Joint POS Tagging and Dependency Parsing in Chinese. in IJCNLP. 2011. 3. Li, Z., et al. A Separately Passive-Aggressive Training Algorithm for Joint POS Tagging and Dependency Parsing. in COLING. 2012. 4.خلاش, م., بررسي روش‌هاي تجزيه در دستور وابستگي. 1390, دانشگاه علم و صنعت ايران. 5.سلطاني, م., سیستم برچسب گذاری و ابهام زدایی خودکار اجزای کلام برای پیکره متنی زبان فارسی. 1387, دانشگاه علم و صنعت ايران. 6.دانشگاه‌علم‌و‌صنعت‌ايران, فاز اول طرح جامع پیکره زبان فارسی با موضوع فاز اول مطالعاتی ایجاد پیکره متنی زبان فارسی, in پيك‌متن‌فارس - 2 - ث, 1.0. 1388: شوراي عالي اطلاع‌رساني. Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

Contents مراجع اصلي 7. Bohnet, B. and J. Nivre. A transition-based system for joint part-of-speech tagging and labeled non-projective dependency parsing. in Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. 2012. Association for Computational Linguistics. Liu, M.Z.W.C.T. and Z. Li, Stacking Heterogeneous Joint Models of Chinese POS Tagging and Dependency Parsing. 9. Nivre, J. Non-projective dependency parsing in expected linear time. in Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 1-Volume 1. 2009. Association for Computational Linguistics. Click to add Title Click to add Title بررسي روش‌هاي توأم برچسب‌زني و تجزيه‌ي وابستگي Click to add Title Click to add Title Click to add Title • عاطفه پاكزاد www.themegallery.com

با تشكر از توجه شما ؟ Thank You ! www.themegallery.com www.themegallery.com

PowerPoint Template