תרגול חזרה לבחינה

1. תרגול חזרה לבחינה מבוא לבינה מלאכותית (236501) מדעי המחשב, טכניון עומר גייגר חורף 2012

2. חיפוש לוקאלי • אלגוריתמי חיפוש במרחבי מצבים גדולים, כאשר לא סביר לשמור חלק ניכר מהמצבים בזכרון. • שומרים מידע לגבי מצב יחיד או מספר מצבים קטן באיזור החיפוש ושואפים לשפר את ערך המצב ע"י התקדמות למצבים שכנים אשר משפרים את ערך המצב. • בדרך כלל לא שומרים מסלול אלא רק את המצב עצמו. • מתאים לבעיות אופטימיזציה בהם מבקשים לשפר את ערך התועלת. • יכול גם להתאים לבעיות בהם מחפשים מצבים סופיים שעומדים בתנאי מסויים, תוך שימוש בערך יוריסטי. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

3. אלגוריתמים לחיפוש לוקאלי Steepest Ascent Hill Climbing (SAHC) מתחיל במצב ההתחלתי ומתקדם למצב העוקב המשפר את הערך עד הגעה למצב סופי או למצב שממנו אין שכן עם ערך טוב יותר (אופטימום לוקלי). מבין המצבים העוקבים עם הערך הטוב ביותר, בוחרים להתקדם לאחד מהם באקראי. SAHCwith sideway steps במקרה ואין מצבים עוקבים משפרים, מתיר צעדים השומרים על אותו ערך. יכול להציב מגבלה של כמות הצעדים "הצידה" שמבוצעים ברציפות החל ממצב כלשהו. Stochastic Hill Climbing מתוך כל המצבים העוקבים בוחר לפי התפלגות השיפור. יכול לבחור מבין המשפרים או להתיר גם צעדים מרעים. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

4. אלגוריתמים לחיפוש לוקאלי First Choice Hill Climbing מגריל סדר על בחירת האופרטורים ובוחר במצב העוקב הראשון אשר משפר את הערך. Simulated Annealing מתיר צעדים מרעים בהסתברות מסוימת ההפוכה לגודל ההרעה ולפרמטר טמפרטורה. פרמטר הטמפרטורה הולך ויורד עם ההתקדמות בחיפוש ומטרתו לאפשר בתחילת החיפוש יותר צעדי Exploration ובהמשך יותר צעדי Exploitation. שיטות היחלצות מאופטימום לוקלי RandomRestart – אתחול מחדש של החיפוש ממצב אקראי תוך שמירת המצב הטוב ביותר מבין כל האיטרציות. חיפוש אקזוסטיבי (נניח BFS) עד הגעה לשיפור. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

5. שאלה ממבחן – חיפוש לוקלי 1 חורף 2011-12, מועד א' מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

6. שאלה ממבחן – חיפוש לוקלי 1 • המצבים במרחב מייצגים תתי קבוצות של N האיברים ע"י וקטורים בינאריים באורך N. • האופרטורים הטבעיים במרחב זה הן שינוי ביט בוקטור הבחירה של המצב. • רוצים להשוות: • טיפוס עם צעדים הצידה. • טיפוס בלי צעדים הצידה עם אתחול מחדש. • טיפוס סטוכסטי. • פונקציה מתאימה למרחב זה עבור כל האלגוריתמים הנ"ל: • עבור 1 נרצה ליצור מקרה בו יש משטח גדול יחסית בסביבת מצב המטרה עם ערך זהה לו. • פתרון אפשרי: • כך נוצר מישור שטוח בסביבת מצב המטרה. • יצעד למישור ואז יחפש על פני המישור באופן עיוור. • יצעד למישור ואז יתחיל מחדש אם לא הגיע בדיוק למצב המטרה. • יתקדם באופן כללי לכיוון המישור אך לא בצורה ישירה ואז יתכן שיתרחק מהמישור. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

7. שאלה ממבחן – חיפוש לוקלי 1 • טיפוס עם צעדים הצידה. • טיפוס בלי צעדים הצידה עם אתחול מחדש. • טיפוס סטוכסטי. • עבור 2... • נרצה ליצור מקרה בו יש מספר אופטימומים לוקליים. • פתרון אפשרי: • נגדיר מצבי מטרה דמה , . • יתקע ככל הנראה באחת ממטרות הדמה. • יתקע במטרת דמה ויאתחל מחדש עד הגעה למטרה. • יעדיף להישאר בסביבת מטרות שרובם דמה ויתקשה לנוע לכיוון המטרה האמיתית. • הפתרון המוצע: • בעייתי... מדוע? • ממצבי ה-0 ינוע למצבים טובים יותר ע"י הוספת האיבר . מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

8. שאלה ממבחן – חיפוש לוקלי 1 טיפוס עם צעדים הצידה. טיפוס בלי צעדים הצידה עם אתחול מחדש. טיפוס סטוכסטי. עבור 3... נרצה ליצור מקרה בו חייבים לעבור למצב מרע בדרך למטרה ונשתמש בגרסה שמאפשרת צעדים מרעים. ניתן להשיג זאת על ידי יצירת "חפיר" סביב המטרה. כך מובטח שאלגוריתם 1,2 כלל לא יוכלו להגיע למטרה כיוון שהם אינם מאפשרים צעדים מרעים. אלגוריתם 3, יעדיף להגיע לסביבת ה"חפיר" ובמקרה ויבחר לצעוד לתוכו, יעדיף לאחר מכן להתקדם למטרה. במה ניתן להחליף את הביטוי ? כל ערך הקטן ממש מ- מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

9. שאלה ממבחן – חיפוש לוקלי 2 • חורף 2008-9, מועד א • נתונים: • אופטימום (מינימום) גלובלי יחיד וידוע. • מרחב עם קשתות דו כיווניות. • גודל המרחב ידוע – N. • אלגוריתם חיפוש SAHC , ללא צעדים הצידה עם אתחול מחדש. • איך נחשב ע"י עיבוד מקדים מה תוחלת מספר האתחולים מחדש? • רוצים למצוא מכמה מצבים האלגוריתם ימשיך למצב המטרה. איך נעשה זאת? • נתחיל מהמצב היחיד הידוע לנו – מצב המטרה ונבצע סריקה לפי צעדים בכיוון הפוך לכיוון השיפור המקסימלי, בו יתקדם האלגוריתם. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

10. שאלה ממבחן – חיפוש לוקלי 2 נתחיל מהמצב היחיד הידוע לנו – מצב המטרה ונבצע סריקה לפי צעדים בכיוון הפוך לכיוון השיפור המקסימלי, בו יתקדם האלגוריתם. ניסיון ראשון: נגדיר את קשתות החיפוש ע"י מה הבעיה פה?... לא מובטח שממצב האלגוריתם יתקדם ל- כיוון שיתכן שהוא לא יהווה השיפור המקסימלי ממנו. ניסיון שני: . כעת נבצע סריקת BFS ונספור את מספר הצמתים אליהם מגיעים, נסמנוK. מספר ההתחלות הינו משתנה גאומטרי עם , תוחלתו , נחסיר את ההתחלה הראשונה שאינה מהווה אתחול מחדש ונקבל . מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

11. חיפוש יוריסטי אופטימלי • תזכורת: • אלגוריתם A* מהווה שילוב של שני אלגוריתם: • Greedy Best Search פועל על פי יוריסטיקה של מרחק למטרה . • Uniform Cost Search הינו אלגוריתם עיוור המתקדם למצבים הקרובים ביותר תוך שימוש בפונקציה המהווה סכום עלויות מצטברות במסלול. • A* פועל על פי פונקציית הסכום של הנ"ל . • כל אלה מהווים מקרים פרטיים של משפחת Best First הבוחרת את הצומת הבאה לפיתוח כמועמד עם ערך פונקציה הנמוך ביותר. • אלגוריתם IDA* מבצע חיפוש DFS-f אשר הינו חיפוש עומק המוגבל לפי ערך f. בכל פעם שנתקע מבצע חיפוש נוסף שכזה תוך הגדלה של חסם ה-f. • אלגוריתם A*-epsilon בוחר את הצומת הבאה לפיתוח מתוך קבוצת המועמדים FOCAL, בהם ערך ה-f הינו עד כפול הערך המינימלי. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

12. A* , IDA* - שאלה 3 חורף 2008-9, מועד א A* יפתח צמתים בעלי ערך , אלו הם הצמתים הנמצאים על מסלול אופטימלי למטרה. סדר הפיתוח ביניהם לא ידוע. במקרה הגרוע יתכן שיצטרך לפתח את כל הצמתים, למשל במקרה הבא: (כאשר המחיר אחיד) ואלגוריתם IDA*? ... יבחר באחד המסלולים האופטימליים ויפתח רק אותו. ערך ה-f לאורך מסלול זה יישאר קבוע ושווה ל- ולפיכך תתבצע איטרציה אחת בלבד על ערך החסם. האלגוריתם לא יפתח מסלולים אלטרנטיביים כיוון שהוא עובד לעומק. כמוכן, הוא אינו מחפש צמתים במבני הנתונים OPEN ו-CLOSED ובכך חוסך זמן. I ... g מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

13. A* , IDA* - שאלה 4 חורף 2007-8, מועד א המרחב עץ ומחיר הקשתות חיובי, לכן כל צומת יפותח לכל היותר פעם אחת (האלגוריתם מחזיר צמתים מ-CLOSED ל-OPEN רק במקרה שנמצא מסלול המשפר את ערכם). במקרה הטוב ביותר האלגוריתם יפתח את כל הצמתים בעלי ערך קטן ממש מהערך האופטימלי ואחר כך את צומת המטרה. במקרה הגרוע יפותחו בנוסף כל הצמתים בעלי אותו ערך. לפיכך החסם הינו: מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

14. A* , IDA* - שאלה 4 חורף 2007-8, מועד א נגדיר סדרה מונוטונית עולה ממש של ערכים באופן הבא: הינם אוסף ערכי של צמתים בתחום אשר אין במסלול אליהם ערך גבוה יותר מ. נגדיר את כמספר הצמתים שיפותחו באיטרציה: במקרה הטוב יפותחו צמתים. במקרה הגרוע יפותחו כל הצמתים של האיטרציה האחרונה ואז החסם יהיה מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

15. משחקים - שאלה 5 חורף 2007-8, מועד א האלגוריתם מחשב תוחלת בצמתים הסתברותיים, כלומר סכום משוקלל של ערכי RB-Expectimax לפי ההסתברויות השונות. משפט ההבטחה מבטיח שלאחר D צעדים נגיע למצב בו הערך היוריסטי הוא לפחות הערך המוחזר. על מנת להבטיח זאת, צריך לבחור בצמתים ההסתברותיים את הערך הנמוך ביותר במקום התוחלת. כלומר, להתייחס לצמתים ההסתברותיים כצמתי מינימום נוספים. שחקן זה ישחק באופן פחדני כיוון שהוא מניח את המקרה הגרוע עבור התוצאות ההסתברותיות וכך ימנע ממהלכים שברוב הסיכויים יניבו תוצאות טובות בגלל החשש מהמקרה הגרוע. ככל הנראה השחקן ישחק בצורה פחות טובה מהאלגוריתם המקורי. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

16. משחקים - שאלה 6 חורף 2007-8, מועד א נתון שב זמן ניתן לבצע חיפוש עד לעומק . סיבוכיות הזמן של פיתוח עץ הינה אקספוננציאלית ומתנהגת לפי , כך שהגדלת העומק ב-1 תיקח פי זמן. לאחר חיפוש בעומק זה לא יוותר זמן ליתר המהלכים הבאים ולכן ההחלטות בהן תהינה מידיות. . מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

17. משחקים - שאלה 6 חורף 2007-8, מועד א על מנת לשמור עץ אסטרטגיה כנלמד יש צורך להחזיר מהשגרה ערך וכן תת עץ מהצומת הנבדק: מהעלים - מחזירים צומת בודד. מצמתי מינימום - הצומת מהווה שורש והבנים הינם כל תתי העצים המחושבים באופן רקורסיבי. מצמתי מקסימום - ניתן להשמיט את כל תתי העצים ולהשאיר בן יחיד - תת העץ שנבחר כבעל ערך מקסימלי. יש צורך לשמור גם את הפעולות המקודדות על הקשתות. הבניה של העץ מתבצעת בצעד הראשון של כל צעדים. השימוש בעץ נעשה ביתר הצמתים כאשר יש צורך לזכור באיזה צומת בעץ אנו נמצאים וניתן להשמיט את כל מה שאינו בתת העץ שלו. כך יכול שחקן המקס למצוא ב את המהלך לביצוע - הבן היחיד של הצומת. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

18. משחקים - שאלה 6 חורף 2007-8, מועד א כעת בכל צעד, האלגוריתם מחזיר את הצעד האופטימלי השקול לזה שהיה מתקבל באלגוריתם מינימקס לעומק הנותר. זאת לעומת המצב בסעיף ב1 בו מוחזר צעד באופן מידי ללא כל ידע שנשמר. בצעד הראשון האלגוריתם המשופר יבצע מהלך מושכל יותר. בצעד השני שני האלגוריתמים יבצעו את אותו המהלך. בכל המהלכים הבאים האלגוריתם המשופר יחזיר מהלך מושכל פחות, במהלך ה () יוחזר מהלך לפי עומק . כלומר, כאשר נקבל שהאלגוריתם המשופר מחזיר בסוף מהלכים שרירותיים. לפיכך ברוב המצבים האלגוריתם הרגיל יהיה עדיף, אך במצב שנמצא במרחק מניצחון מובטח, האלגוריתם המשופר יהיה עדיף. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013

19. למידה, עצים - שאלה 7 חורף 2005-6, מועד א במיעוט דוגמאות לא נרצה להפריש דוגמאות לקבוצת בדיקה. איך נוכל להעריך את טיבו של עץ? נשתמש בעקרון של Occam's Razor שאומר שנעדיף עצים קטנים (לפי מספר העלים). לפיכך נריץ את אלגוריתם הלמידה כל עוד יש לנו זמן ונזכור את העץ הקטן ביותר שנמצא. Occam's Razor (Wikipedia): "among competing hypotheses, the one that makes the fewest assumptions should be selected." במקרה זה ניתן להפריש קבוצת דוגמאות כקבוצת מבחן. נגריל קבוצות אימון בגדלים משתנים, נפעיל את האלגוריתם ונזכור את האלגוריתם שאחוזי הפגיעה על קבוצת המבחן הם הטובים ביותר. קבוצות אימון קטנות, יתכן ויתנו היפוטיזות קטנות יותר בעוד הגדולות מבוססות יותר אך יתכן ויבצעו Overfitting. הערה: אי אפשר לבצע Cross-Validation, מדוע?... מוחזרים עצים שונים לכל חלוקה וצריך להחזיר עץ אחד. מבוא לבינה מלאכותית (236501) מדעי המחשב- טכניון. עומר גייגר חורף 2013