דבורקין מיכאל אלתרמן יגאל

1. עקיבה אחר שתי מטרות החוצות אחת את השניה דבורקין מיכאל אלתרמן יגאל בהנחיית ד"ר גבי דוידוב

2. הקדמה • בתחומים רבים קיימת דרישה לעקיבה אחר מטרה בצורה ממוחשבת. • עקיבה בצורה ממוחשבת תורמת למזעור שגיאות אנוש, לדיוק מרבי, ביצוע משימות אחרות בזמן העקיבה. • ריבוי משימות כלומר עקיבה אחר מטרות רבות, דבר הנשגב מבינתו של אדם. • זמינות מעבדים רבי עוצמה, פתחה אפיקים חדשים למימוש אלגוריתמים מסובכים ויעילים לצורך העקיבה.

3. המערכת העוקבת מטרות הפרויקט • ביצוע עקיבה אחר שתי מטרות. • התמקדות במצבים הבאים: מטרות רחוקות, מטרות החולפות אחת על פני השנייה, רעשים והסתרות. • חקר ביצועים של שיטות עקיבה שונות. לצרכי חקירה בנינו ממשק גרפי המסייע רבות בהשוואת השיטות השונות והשפעת הפרמטרים השונים.

4. נושאי הדיון • הכרת מושגים • תהליך העקיבה • עיבוד תמונה • שיטות עקיבה מבוססות על עיבוד תמונה – מרכז כובד, קורלציה, שילוב של שתי השיטות • עזרים לעקיבה מתקדמת – מסנני קלמן, NNSF, PDAF • יישום העקיבה • טיפול במצבים בעייתיים – הסתרה, מטרות חוצות • חקר ביצועים • סיכום ומסקנות

5. מדידה שער הכרת מושגים • מסגרת (Frame) – תמונה המהווה דגימה של סרט הכניסה. כל הסרטון נדגם למסגרות. • חלון עקיבה– חלק מהתמונה הכולל את המטרה, עליו מתבצע העיבוד. קביעת גודל החלון תתואר בהמשך. • שער– מרחב המדידה הכולל את המאפיינים ההסתברותיים של המדידה: חוסר וודאות במיקום, שונות שגיאת המדידה וכו'.

6. סימון המפעיל אתחול מעבר למסגרת הבאה מחזור עקיבה תהליך העקיבה הקלט הוא סרטון המציג תנועה של שתי מטרות הנעות באופנים שונים מטרת התהליך היא עקיבה וסימון העצמים הרצויים בקלט העקיבה מבוצעת בשלבים הבאים (כל מטרה מטופלת בנפרד):

7. עיבוד תמונה מקדים • במהלך העקיבה קיים צורך בעיבוד תמונה מקדים לחלון העקיבה כפי שהוא נקרא מתוך המסגרת חלון זה עובר את העיבוד הבא: • מסנן חציון – לסינון רעשי shot noise • מסנן ממצע – לסינון רעשים גאוסיים • בינאריזציה – מיון פיקסלים מעל לסף מסוים כפיקסלים לבנים, ומתחת לסף זה כפיקסלים שחורים • כתוצאה מעיבוד זה מתקבל חלון עקיבה עם מטרה שחורה ורקע לבן

8. לאחר קבלת תמונה בינארית מבוצע עיבוד לצורכי זיהוי האובייקטים הנמצאים בחלון העקיבה. • זיהוי וסימון מטרות ע"י פקודת bwlabel המקבלת כקלט תמונה בינארית, ומחזירה את מספר המטרות שזוהו (num), ותמונה בינארית שבה המטרות שזוהו ממוספרות (L). (L,num] = bwlabel(bin_win] • איסוף מידע ע"י פקודת regionprops, שמקבלת כקלט את L, ומחזירה לנו נתונים לגבי כל איזור מסומן: מרכז כובד, שטח, מימדים (בשני הצירים). stats = regionprops(L,'Centroid','Area','BoundingBox')

9. N å I x i i = = i 1 x c N å I i = i 1 שיטות עקיבה מבוססות על עיבוד תמונה שיטת מרכז הכובד: מרכז כובד של אובייקט נתון ע"י: N - מס' הפיקסלים באובייקט;I - ערכי הפיקסלים. מרכז הכובד מהווה יעד לסימון, וסביב סימון זה מתעדכן חלון העקיבה. במחזור הבא, לאחר שהמטרה זזה בתוך חלון העקיבה הקיים, חוזרים שוב על תהליך חיפוש מרכז הכובד ועדכון חלון העקיבה.

10. שיטת הקורלציה: שיטה זו מסתמכת על השוואת חלונות עקיבה לתמונת הרפרנס (חלון עקיבה ראשוני שנשמר). • נקודת מוצא היא חלון העקיבה הקודם • מתחילים לחפש בצורה ספיראלית תוך שינוי חלונות העקיבה • נעצרים כאשר מתקבלת התאמה במקדם הקורלציה המיטבי • רדיוס החיפוש נקבע מסדר גודל של חלון העקיבה

11. קורלציה מול מרכז מסה: • שיטת מרכז מסה פשוטה למימוש ובעלת עלות חישובית נמוכה. • היא נותנת תוצאות טובות במקרים של SNR גבוה, מטרות לא גדולות ואחידות. • שיטת הקורלציה, לא מבדילה בסוג המטרות, ובעלת רגישות נמוכה יותר (יחסית למרכז כובד) לרעשים. • שיטה זו מצריכה עלות חישובית רבה יותר, ורגישה יותר לשינויים בצורת המטרה.

12. שילוב של שתי השיטות: • חיפוש התמונה בעלת המתאם הכי גבוה לתמונת רפרנס (שיטת הקורלציה). כלומר, שיערוך העתק מרכז הכובד ביחס למסגרת (frame) הקודמת. • חיפוש מרכז כובד בתמונה שנמצאה. • עדכון חלון העקיבה – העברת קואורדינאטות חדשות לחיפוש קורלציה המחזור הבא.

13. עזרים לעקיבה מתקדמת חלון עקיבה קבוע לעומת חלון עקיבה משתנה • בעבודות קודמות העקיבה התבצעה באמצעות חלון עקיבה קבוע, דהיינו חלון שגודלו נקבע מראש. • החסרונות המובהקים של שיטה זו הם אי הסתגלות לתנאי ה"שטח", כלומר • חלון גדול מדי בעקיבה פשוטה זמן חישוב מיותר • בתנאי רעש אין התאמה בין גודל החלון, לבין גודל אופטימאלי לעקיבה תקינה. • כדי להתגבר על החסרונות הנ"ל קיים צורך בחלון עקיבה מסתגל.

14. חלון משתנה • גודל החלון נקבע ע"פ המימדים של המטרה ונפח השער, מפני שהוא מתאר את מידת חוסר הוודאות של המדידה. • חישוב: F(k) – מטריצת המודל P(k|k-1) – מטריצת קוואריאנס המצב המשוערך R(k) – מטריצת שונות שגיאת המדידה גודל חלון העקיבה נקבע כך: גודל החלון = מימדי המטרה + volume חלון העקיבה volume

15. מסננים מסנן קלמן: מסנן זה מפיק את המשערך של וקטור המצב הבא האופטימאלי במובן של מזעור שונות השגיאה. מודל המערכת: z – ווקטור המדידות v – רעש המצב w – רעש המדידה

16. משוואות המסנן P – מטריצת הקוואריאנס של וקטור המצב בהינתן המדידות - המשערך האופטימלי נציין כי החישוב הוא רקורסיבי ומשילוב של (1) ו – (2), נוכל לקבל את המשערך :

17. NNSF – Nearest Neighbour Standard Filter • נועד לבחירת המטרה הדרושה מתוך מספר מדידות באותה מסגרת (יש מדידה נכונה אחת בלבד). • פועל בדומה למסנן קלמן: שיערוך ע"פ משוואות מצב קודמות ומדידה נוכחית. • בחירה של המדידה הקרובה ביותר לשיערוך. שיערוך

18. PDAF – Probabilistic Data Association Filter אלגוריתם ה – "PDA" (שיתוף מידע הסתברותי), מחשב הסתברויות לכל מדידה בזמן נוכחי ביחס למיקום המשוערך. שיערוך

19. יישום העקיבה אתחול מחזור עקיבה עדכון קואורדינאטות למחזור הבא

20. חיזוי במצב הסתרה • חזוי - ווקטור המצב המתקבל מ – KF מעודכן ע"פ מערכת המצב (F,H) • החיזוי מבוצע ע"פ קריטריון השטח. • סיפי הכניסה והיציאה לחיזוי מוגדרים כאחוז השטח הגלוי, וניתנים לשליטה. • הסיפים נקבעים אמפירית לפי תוצאות הסימולציות. • בזמן החיזוי אנו מגדילים את גודל החלון, כדי להקל על תהליך היציאה מחיזוי. • יציאה מחיזוי מתבצעת ע"פ מרכז המסה בלבד, ללא קורלציה.

21. חיזוי - סימולציות הרצה 1 – חיזוי פשוט הרצה 2 – חיזוי מוטעה הרצה 3 – פתרונות מוצעים: • שינוי ספי כניסה ויציאה: • כניסה מוקדמת • יציאה מוקדמת • הגדלת חלון עקיבה במהלך חיזוי

22. טיפול במטרות חוצות • אחד ההיבטים של הפרויקט הוא טיפול בשתי מטרות החוצות אחת את השנייה • כאשר המטרות קרובות, יכול להיווצר מצב של עקיבה שגויה, עקב בלבול של העוקבים הנפרדים • כדי להתגבר על הבעיות הנ"ל, נקטנו במספר שיטות שיתוארו בהמשך, ויצרנו מרכז בקרת עוקבים המקבל מידע משני העוקבים הנפרדים, והוא מחליט איך לטפל במצב

23. מרכז בקרה עוקב ב' עוקב א' • שיטת עקיבה • מרכז מסה וקורלציה • קורלציה בלבד • פרדיקציה

24. מרכז בקרה • המרכז, כאמור, מקבל מידע משני העוקבים הנפרדים. המידע החשוב עבורו, הוא מיקום המרכזים של המטרות. • נדמה כל מטרה לתיבה בעלת מימדים a,b כך ששטחה שווה בקרוב לשטח המטרה. • כאשר המרחק בין המרכזים מגיע לכדי ממוצע הנדסי של מימדי התיבה משוקלל בפקטור כניסה, יוכל המרכז להודיע על התקרבות המטרות: • בצורה דומה, נוכל לזהות את ההתרחקות ע"פ פקטור יציאה: • במהלך העקיבה במצב זה, תפעל אחת השיטות: • מרכז מסה וקורלציה • קורלציה בלבד • פרדיקציה

25. שיטות עקיבה בחצייה מרכז מסה וקורלציה • זוהי בעצם השיטה בה נקטנו בעקיבה רגילה, עם שיפור שהצענו במהלך חקר תוצאות העקיבה. • שיפור השיטה, מתבטא בהגדלת חלון העקיבה במהלך החצייה. • הגדלת חלון העקיבה גורמת, אמנם, לריבוי חישובים, אך היא משפרת בצורה ניכרת את תוצאות העקיבה, כי: • מנגנון ה – PDAF מקבל מידע אמין יותר. • שיטת הקורלציה זוכה לאזור חיפוש מוגדל. • יתרון: שיטה יעילה שהוכיחה את עצמה בעקיבה רגילה. • חסרון: במהלך הפגישה העוקבים עלולים לעקוב אחר מרכז מסה משותף, דבר הגורם לסטייה מהמרכז האמיתי.

26. מרכז מסה וקורלציה - סימולציות • הרצה 1 – מטרות חוצות בכיוונים שונים בנוכחות רעש • הרצה 2 – איזור חפיפה ארוך בתנועת המטרות • איבוד המטרות • הרצה 3 – פתרון הבעייה: הגדלת חלון העקיבה. • קיימת בעיית מרכז כובד משותף. • דינמיקה מסדר III של מסנן ה – PDA פותרת את בעיית התנועה הזהה באזור החפיפה של שתי המטרות. • הרצה 4 – מטרות דומות חוצות פעמיים. • מסנן ה – PDA מטפל היטב בהפרדה.

27. שיטות עקיבה בחצייה קורלציה בלבד • בשיטה זו אנו מסתמכים רק על שיטת הקורלציה, כלומר מנטרלים את שיטת מרכז המסה, ובכך משפרים את דיוק העקיבה. • גם פה הגדלת גודל החלון עוזרת לביצוע העקיבה, מפני שאיזור החיפוש גדל. • יתרון • בעיית מרכז מסה משותף נפתרת • חסרונות: • רגישה לדמיון בין מטרות • נטרול מנגנון ה – PDAF, פוגע בזיהוי המטרות

28. קורלציה בלבד – סימולציות • הרצה 1 - מטרות דומות • איבוד המטרות עקב דמיונן • הרצה 2 – איזור חפיפה ארוך בתנועת המטרות • פתרון בעיית מרכז כובד משותף

29. מרכז מסה משותף שיטת מ. מסה + קורלציה – יש בעיית מ.מסה משותף שיטת קורלציה – אין בעיית מרכז מסה משותף

30. שיטות עקיבה בחצייה פרדיקציה • ברגע החצייה כל עוקב עובר למצב של פרדיקציה ע"פ משוואות החיזוי של KF • אין צורך בזיהוי, מפני שהעקיבה מתבצעת על סמך ידע קודם, ולא משתבשת עקב הפרעות כמו רעש, מרכז מסה משותף או בלבול בין העוקבים. • יתרונות: • זמן חישוב קצר בצורה ניכרת יחסית לשיטות הקודמות • חסין בפני רעשי תמונה, הפרעות ודמיון בין מטרות • העוקבים לא מפריעים אחד לשני • חסרונות: • חיזוי לא נכון במקרה שהמודל שהנחנו ב – KF לא מתאים, או תנאי התחלה שגויים. • אם החיזוי שגוי, אזי תצטבר שגיאת עקיבה גדולה מפני שאין עדכון מדידות.

31. פרדיקציה – סימולציות • הרצה 1 – תנועה עם איזור חפיפה • פרדיקציה משתמשת במודל קלמן מסדר III • הרצה 2 – שינוי סיפי קירבה • סיפים שגויים גורמים לפרדיקציה לא נכונה ואיבוד מטרות • הרצה 3 – המטרות חוצות פעמיים • ספי קירבה טובים => עקיבה תקינה

32. סיכום ומסקנות • עיבוד מקדים: מסנן רעשים ובכך מעניק עקיבה פשוטה יותר והפרדה מדויקת יותר לאזורי "מטרה" ו"רקע". • חלון עקיבה: חלון מסתגל עדיף מכל הבחינות על חלון קבוע. • חיזוי: בחירת סף יכולה להיות קריטית לחיזוי תקין. • קו מנחה לבחירת הסיפים לחיזוי הוא • כניסה מוקדמת יחסית, למצב חיזוי (30% - 40% מהמטרה מוסתרים) • יציאה מוקדמת יחסית, ממצב חיזוי (20% - 30% מהמטרה נגלים)

33. מסננים: • KF: מעניק שיערוך טוב באם המודל מדויק. • PDAF: מנגנון יעיל מאוד בזיהוי מטרות במצבים בעייתיים. • מצבים בעיתיים: • הסתרה: מטופלת היטב ע"י מסנן קלמן, בהינתן מודל מדויק ותנאי התחלה טובים • חצייה: קיים צורך במרכז בקרה המקבל מידע משני העוקבים הבלתי תלויים, ומשם מנתב הוראות לטיפול במצב הבעייתי באמצעות השיטות: • שיטת מרכז כובד + קורלציה בשיתוף עם הגדלת חלון העקיבה • פרדיקציה • שיטת הקורלציה בלבד

34. שיטת מרכז כובד + קורלציה בשיתוף עם הגדלת חלון העקיבה - יעילה ואמינה מבין שלוש השיטות. מנגנון ה - PDAF הוא יתרון דומיננטי. • פרדיקציה - שיטה מדויקת, אך רגישה מאוד לספי ההתקרבות וההתרחקות ולכן פחות אמינה. • הקו המנחה לבחירת סיפי התקרבות והתרחקות: • סף התקרבות בינוני (התקרבות המרכזים עד כדי 120% ממימדי המטרה) • סף התרחקות בינוני עד גבוה (התרחקות המרכזים עד כדי 150% ממימדי המטרה) • שיטת הקורלציה בלבד: לא מומלצת למרות שלעיתים יותר מדויקת, וזאת עקב אי ידיעת אופי המטרות.

35. That's all folks