پردازش زبانهای طبیعی

1. موضوع : پردازش زبانهای طبیعی خانم مهندس خالدیان استاد راهنما : ارائه دهندگان : مصطفی محمدی مجید لبیکی حمیدرضا پاکپور 1

2. خلاصه مطالب : • NLP و کاربردهای آن • تاریخچه NLP • شرح برخی از کاربرد های مهم • تکنیک های پردازش زبان های طبیعی • تکنیک پنهان سازی تصادفی برای تشخیص صدا و حرکات انسان • ارائه یک برنامه عملی 2

3. زبان طبيعي • زبان طبيعي زباني است که در تعاملات اجتماعي روز مره ما با استفاده از آن مي نويسيم و صحبت مي کنيم • زبان هاي طبيعي مختلف و زيادي وجود دارند • ممکن است که فرم گفتاري و نوشتاري زبان ها متفاوت باشند و همچنين از هم مستقل باشند. • NLP اين ادعا را دارد که با خودکار کردن پردازش زبان سيستم هاي مفيدي بر پايه اين توصيفات بوجود آورد. 3

4. پردازش زبان طبيعي • تعریف پردازش زبان طبیعی • محدودیت های پردازش زبان های طبیعی • پردازش زبان‌های طبیعی آمارگرا 4

5. پردازش زبان طبيعي • هدف از پردازش زبان طبيعي اين است که کامپيوترها از زبان طبيعي به عنوان ورودي و خروجي استفاده نمايند. 5

6. NLPکاربرد هاي • کاربرد های مهم پردازش زبان‌های طبیعی - تشخیص گفتار. - خلاصه سازی متون. - ویرایش. • ترجمه ماشینی. • نویسه خوان نوری. • و . . . 6

7. تاريخچه • در سال ۱۹۵۷کتاب ساختارهای نحویاثر نوام چامسکیزبان‌شناس جوان آمریکاییکه از آن پس به شناخته‌شده‌ترین چهرهٔ زبان‌شناسی نظری تبدیل شد به چاپ رسید. از آن پس پردازش زبان با حرکت‌های تازه‌ای دنبال شد اما هرگز قادر به حل کلی مسئله نشد. 7

8. NLPکاربرد هاي • خلاصه سازی متون • خلاصه سازی یکی از زیرمجموعه مشکلات پیچیده پردازش زبان طبیعی می باشد که در حال حاضر همچنان حل نشده است . • خلاصه سازی عبارت است از نمایش فشرده و دقیق متن ورودی به نحوی که متن خروجی مفاهیم مهم متن ورودی را در برداشته باشد . 8

9. NLPکاربرد هاي • مثالی از کاربرد خلاصه سازی متون • یک سیستم خلاصه سازی اتوماتیک اطلاعاتی را به صورت مختصر و مفید در اختیار کاربر می گذارد تا کاربر بتواند سریعتر به اطلاعات خود دسترسی پیدا کند . متور جستجوی گوگل تا حدودی این کار را انجام می دهد. 9

10. تکنیک های پردازش زبان های طبیعی • NLP برای سنتز گفتار • NLP برای تشخیص گفتار • نویسه خوان نوری

11. تکنیک های پردازش زبان های طبیعی • NLP برای سنتز گفتار(TTS) : • نرمال سازی

12. تکنیک های پردازش زبان های طبیعی • NLP برای تشخیص گفتار : • POS(Part-Of-Speech-Tagging) • GTPC(Grapheme-To-Pheme) • WS(Word Stress)

13. تکنیک های پردازش زبان های طبیعی • نویسه خوان نوری : • تکنیکی برای تبدیل متون تصویری و غیرقابل ویرایش و تشخیص توسط کامپیوتر می باشد . • در واقع این تکنیک تصاویر اسکن و غیرقابل ویرایش را به متن قابل ویرایش تبدیل می کند.

14. تکنیک های پردازش زبان های طبیعی • مزایا نویسه خوان نوری: • افزایش چشمگیر سرعت دسترسی به اطلاعات. • کاهش فضای ذخیره سازی .

15. تکنیک های پردازش زبان های طبیعی • کار برد ها نویسه خوان نوری: • کنترل ترافیک . • فرم خوان ها . • تبدیل متن به صحبت .

16. تکنیک پنهان سازی تصادفی برای تشخیص صدا : مدل مارکوف • مدل مارکف چیست ؟ • چه کاربردی هایی در پردازش زبان های طبیعی دارد ؟ • مدل مارکوف در بیوانفورماتیک • تشریح مدل مارکوف با یک مثال ساده • مدل مارکوف در تشخیص حرکات انسان و بررسی آن با دیگر مدلها

17. تکنیک پنهان سازی تصادفی برای تشخیص صدا : مدل مارکوف • مدل مارکف چیست ؟ • این مدل یکی از قدرتمندترین روش ها برای تشخیص گفتار می باشد. • مدل پنهان مارکف یک مدل آماری است.

18. تکنیک پنهان سازی تصادفی برای تشخیص صدا : مدل مارکوف • چه کاربردی هایی در پردازش زبان های طبیعی دارد ؟ • ماشین های ترجمه • تشخیص حرکات انسان • تشخیص گفتار • بیوانفورماتیک • و . . .

19. تکنیک پنهان سازی تصادفی برای تشخیص صدا : مدل مارکوف • مدل مارکوف در بیوانفورماتیک : • دانش استفاده از علوم کامپیوتر و آمارواحتمالات در شاخه زیست شناسی مولکولی است . • مثل تشخیص توالی 24 کروموزوم بدن انسان .

20. تکنیک پنهان سازی تصادفی برای تشخیص صدا : مدل مارکوف • تشریح مدل مارکوف با یک مثال

21. تکنیک پنهان سازی تصادفی برای تشخیص حرکات انسان • مدل مارکوف برای تشخیص حرکات انسان • یعنی شناسایی روش هایی که بتوان برخی حرکات پنهان را آشار کرد . • CRF ,HCRF,HMM(Hidden Markov Model)

22. تکنیک پنهان سازی تصادفی برای تشخیص حرکات انسان

23. NLP FOR NLP(Natural Language Programming) ارائه یک برنامه طراحی شده با دات نت برای تشخیص دست خط (شناسایی اعداد) 23

24. نتیجه گیری : • شرح NLP • کاربرد های مختلف در NLP • بررسی برخی کاربرد های مهم و مقایسه آنها 24

25. مراجع : 1. Antoine J.Y., Caillaud B., Caelen J., "Automatic adaptiveunderstanding of spoken language by cooperation of syntactic parsing and semantic priming", ICSLP'94, Yokohama, Japan, 799:802, 1994. 2. Kumar, P. and Walia, E., (2006), “Cash Forecasting: An Application of Artificial Neural Networks in Finance”, International Journal of Computer Science and Applications 3 (1): 61- 77. 3. Hidden Conditional Random Fields for Phone Recognition Yun-Hsuan Sung and Dan Jurafsky 2010 4. LIEBERMAN,H., AND LIU,H. Feasibility studies for programming in natural language.Kluwer Academic Publishers, 2005. 5. DIJKSTRA, E. On the foolishness of ”Natural Language Programming”. In Program Con-struction, International Summer School (1979). 6.U. D. Reichel and H. R. Pfitzinger, “Text pre-processing for speech synthesis,” in Proceedings of the TC-STAR Workshop on Speech- to-Speech Translation, (Barcelona, Spain), pp. 207–212, June 2006. 7. Hidden Conditional Random Fields for Gesture Recognition Sy Bor Wang Ariadna Quattoni Louis-Philippe Morency David Demirdjian Trevor Darrell , Computer Science and Artificial Intelligence Laboratory, MIT32 Vassar Street, Cambridge, MA 02139, USA 2009 8. W.Doran, N.Stokes, and J. D. J.Carthy, “A Comapring Lexical Chain-based Summarization approches using an extractive evaluation,” in Global Word Net Conference, 2004, pp. 112-117. 9. O. D Trier, A. K. Jain, and T. Taxt, “Feature extraction methods for character recognition - Asurvey,” Pattern Recognition, vol. ٢٩, pp. ۶۴١-۶۶٢, ١٩٩۶. 25