עיבוד שפות טבעיות – 89680 מבוא

1. עיבוד שפות טבעיות – 89680מבוא עידו דגן (קרדיט שקפים:אורן גליקמן) המחלקה למדעי המחשב אוניברסיטת בר אילן 89-680

2. מבנה הקורס ודרישות • תרגילים(25%) • כ-3 תכנות/כתיבת דקדוק (שבועיים) – אפשר הגשה בזוגות • כ-4 תיאורטיים/שימוש בכלים (שבוע) – הגשה ביחידים • מבחן (%75) – מינימום ציון מעבר 60 • אתר הקורס: תרגיל ראשון לשבוע הבא:http://www.cs.biu.ac.il/~dagan/NLP-89680-Win05/ 89-680

3. מקורות • Speech and Language ProcessingBy  Daniel Jurafsky and  James H. Martinhttp://www.cs.colorado.edu/~martin/SLP/slp-ch1.pdf • Foundations of Statistical NLPChristopher D. Manning and Hinrich Schutze1999, MIT Press.http://nlp.stanford.edu/fsnlp/promo/ • Natural Language UnderstandingAllan James, Addison-Wesley Pub Co; 2nd edition (January 1995) 89-680

4. מה זה בכלל עיבוד שפות טבעיות • נקרא גם "בלשנות חישובית“ • Natural Language Processing/Computational Linguistics • כל מה שקשור בהבנה, ניתוח, יצירה ועיבוד של שפות טבעיות (להבדיל משפות מחשב, למשל) • שפה מהווה ייצוג של משמעות – איננו מתיימרים להגיע להבנה "אמיתית" של משמעות, אלא לבצע פעולות מועילות למרות החוסר בהבנה 89-680

5. דוגמאות לאפליקציות/יישומים • תרגום ממוחשב • חיפוש ואחזור מידע • מענה לשאלות – Question Answering • שליפת מידע – Information Extraction • טיפול במונחים: שליפה, דמיון, סיווג שמות • תמצות אוטומטי • אפליקציות בתחום הדיבור: • מערכות דיאלוג • תיקון שגיאות תחביר (eg. Microsoft Word) 89-680

6. אפליקציות... (המשך) ניתן לסווג אפליקציות ע"פ • המדיה של הקלט/פלט: • טקסט (TEXT)ספרים, דוחות, אתרי אינטרנט, עיתונים, דו"אל... • דיבור (Speech) • כתב • המוען והנמען בתקשורת • אדם, מחשב. • ז'אנר • שפה מדוברת שונה מאוד משפה עיתונאית, למשל. 89-680

7. מדעים קשורים • בלשנות • פסיכולינגויסטיקה • מדעי המחשב (AI) • אלגוריתמים (חיפוש לדוגמא) • מדעי המוח ((Cognitive Science • פילוסופיה 89-680

8. שפה טבעית לעומת שפת מחשב • שפות מחשב (באופן כללי) הנן חד-משמעיות ומוגדרות היטב. קו מפילר יכול ע"י Parser לתרגם קוד לפקודות שפת מכונה. לדוגמא: • יש הבחנה בין שווהבמשמעות של assignment (=) לעומת equality (==). • יש סדר מוגדר על פרדיקטים – • a גדול מ b ולא c או d • a > b && !c || d • a > b && (!c || d) • a > b && !(c || d) 89-680

9. ו ו או • או (or) היינו דו משמעי בעברית (ואנגלית): • אתה יכול לקבל קפה או תה. (Exclusive) • אתה רוצה קפה או עוגה. (Inclusive) • עוד דוגמא: (טווח כמתים – quantifier scope) • "כמעט ניצחתי את כל שאר המתחרים בתחרות") • "באמת?" • "כן: כמעט ניצחתי את ירון, כמעט ניצחתי את איריס, כמעט ניצחתי את אלון,..." 89-680

10. עברית קשה שפה • לא רק עברית ! • השפה הטבעית מלאת רב משמעויות, ברמות שונות: • כותרת תמונה בעיתון השבוע: • "גופות הרוגים בפיגוע ליד בית חולים בבאלי היום." • האם הפיגוע היה ליד בית חולים ? • מתי ארע הפיגוע? • פרסומת: "אצלנו אין ערבים" 89-680

11. 242 • "Withdrawal of Israel armed forcesfrom territories occupied in the recent conflict" • עד היום מתווכים על הפרוש. 89-680

12. AI & Turing Test • NLP נחשב כ-’AI complete’ • Turing Test: is a computer program intelligent? (1954)would a human find out that he speaks with a computer? 89-680

13. ידע לינגויסטי נדרש • פונטיקה ופונולוגיה • מורפולוגיה • תחביר (Syntax) • סמנטיקה • פרגמטיקה • שיח (Discourse) • ידע כללי (World Knowledge) 89-680

14. מורפולוגיה שם עצם נסמך הרכבת הא השאלה פועל ר.כ.ב בניין פעל עבר זכר יחיד שם עצם והא הידיעה פועל ר.כ.ב בניין הפעיל עבר נקבה יחיד פועל ר.כ.ב בניין הפעיל עבר זכר יחיד 89-680

15. רב משמעויות • במשפט הבא 15 מילים ולפחות 455(!) ניתוחים אפשריים: List the sales of the products produced in 1973 with the products produced in 1972. 89-680

16. ידע לינגויסטי - דוגמא • תוידנם טוחירב יפואיאה תוילסתם לידהל לח לע מיממור תויוצחנתההם • בריחוט מנידות אפיואיה סתמליות לילדה חל חה מצימור מחנותהן • מנדיות בריחוט האיאופי מתסילות להדיל חל על מורמים מההתנחצויות • באיחוד מההתנחלויות מס האירופי על מתחילות מוצרים מדינות להטיל. • מוצרים באיחוד המסים מתחילות להטיל התנחלויות על מדינה מהאירופים. • התנחלויותבאיחוד האירופי מתחילות להטיל מס על מוצרים מהמדינות • מדינות באיחוד האירופי מתחילות להטיל מס על מוצרים מההתנחלויות. 89-680