עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

1. עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת מגישים: גיא הרשטיג 034943522 מיכל חורב 040673873 מנחה: דר' גבי דוידוב

2. תוכן עניינים • מטרות הפרויקט • אופן העקיבה • מושגים חשובים • שיטות עקיבה מבוססות על עיבוד תמונה • סינון רעשים לפני העיבוד • חקר ביצועים • מסנן קלמן • חלון בעל גודל משתנה • כניסה ויציאה ממצב הסתרה • ייצוב תמונה רועדת • אלגוריתם העקיבה • סיכום ומסקנות • תודות

3. מטרות הפרויקט • עקיבה אחר מטרה מתמרנת בשיטת מרכז הכובד ובשיטת הקורלציה והשוואת השיטות. • לימוד מסנן קלמן • מימוש מערכת עקיבה המבוססת על מסנן קלמן המסוגלת לעקוב אחר מטרה בתנאים הבאים: • רעשים בתמונה • הסתרה חלקית או מלאה של המטרה • רעידות בתמונה

4. אופן העקיבה • סימון המטרה על ידי המשתמש. • רכישת המטרה ואתחול הפרמטרים של העקיבה. • ציור מסגרת העקיבה סביב המטרה. • מעבר לתמונה הבאה. • עקיבה אחר המטרה.

5. מושגים חשובים • הקלט של הפרויקט הינו סרט המציג מטרה מתמרנת. • תמונה/מסגרת: הסרט מורכב מאוסף מסגרות/תמונות. • חלון החיפוש: הינו חלק מן התמונה, בעל גודל קבוע אך מיקום משתנה, בו אנו מחפשים את המטרה. • חלון עקיבה: חלק מחלון החיפוש בו אותרה המטרה. בכל תמונה מצויר חלון העקיבה סביב המטרה.

6. שיטות עקיבה מבוססות על עיבוד תמונה • שיטת מרכז המסה • שיטת הקורלציה

7. שיטות מרכז המסה מרכז כובד של גוף מחושב ע"י הנוסחא : כאשר I הוא ערך הפיקסל ו-N מסמל את מספר הפיקסלים במטרה . את מרכז הכובד נחשב עבור כל תמונה ולאחר מכן נסמן אותו באמצעות הסמן ונצייר סביבו את חלון העקיבה.

8. תמונת הייחוס חלון החיפוש הינו החלון המצויר ע"י הקו רצוף. שיטות הקורלציה בשיטה זו אנו עוקבים אחר המטרה על ידי השוואה של אזורים שונים בחלון חיפוש לתמונת הייחוס שבידינו. האזור בחלון החיפוש בעל מקדם הקורלציה הגבוה ביותר הוא האזור בו נמצאת המטרה וסביבו מצויר חלון העקיבה.

9. סינון רעשים לפני העיבוד • לצורך קבלת תוצאות אופטימליות רצוי לסנן את התמונה מרעשים לפני תחילת העיבוד. • מסננים פשוטים ליישום ובעלי יכולות טובות הם: • מסנן בינארי • מסנן חציון • מסנן ממצע

10. סינון רעשים לפני העיבוד - מסנן בינארי • פיקסלים בעלי ערך הגבוה מערך הסף שנקבע יחשבו כפיקסלים לבנים ולהיפך. • רצוי שקביעת ערך הסך עבור התמונה לא יהיה קבוע אלא יהיה תלוי בתכונות התמונה.

11. סינון רעשים לפני העיבוד - מסנן ממצע • בשיטה זו אנו מחליפים את ערכו של כל פיקסל בממוצע הערכים של שכניו ושלו עצמו. גרעין בגודל 3X3 יראה כך: • חסרונותיו העיקריים הם: • פיקסל יחיד יוצא דופן ישפיע מאוד על תוצאת הממוצע. • מסנן זה נוטה לטשטש שפות.

12. 1 1 1 1 2 2 2 4 8 סינון רעשים לפני העיבוד - מסנן חציון • בשיטה זו אנו מסדרים את ערכיהם של פיקסל נתון ושכניו בסדר נומרי. הפיקסל הנתון יקבל את הערך האמצעי שהתקבל מהסידור הנומרי. • מסנן זה מתמודד טוב יותר עם "הקשיים" של המסנן הממצע אך זמן חישובו ארוך יותר.

13. חקר ביצועים בעת מימוש אלגוריתם העקיבה נדרשנו להחליט: • באמצעות איזו שיטה לבצע את העקיבה: מרכז מסה / קורלציה. • באלו מהמסננים להשתמש לשם עיבוד התמונה המקדים: מסנן בינארי/ מסנן חציון / מסנן ממצע. • באיזה סדר להשתמש במסננים.

14. חקר ביצועים - שיטת מרכז המסה • כדי לבחון איזה עיבוד מקדים מתאים לשיטת עקיבה באמצעות מרכז המסה, הפעלנו קומבינציות שונות של מסננים על תמונה של מטרה על גבי רקע משתנה. • בכל פעם שינינו את הרקע ואת שונות הרעש ברקע ולאחר הסינון בדקנו את גודל השגיאה בחישוב מרכז המסה.

15. התמונה הבינארית המתקבלת לאחר סינון, בה מחשבים מרכז מסה לפני סינון הרקע המורעש המטרה חקר ביצועים – שיטת מרכז המסה • בחנו את תפקודו של כל מסנן בתנאים שונים.מדגם מתוצאות המסנן הבינארי:

16. חקר ביצועים – שיטת מרכז המסה • בחנו את תוצאות הפעלת שני מסננים בתנאים שונים. מדגם מתוצאות הפעלת מסנן חציון ואחר כך מסנן בינארי: התמונה המתקבלת לאחר סינון, בה מחשבים מרכז מסה לפני סינון הרקע המורעש המטרה

17. חקר ביצועים – שיטת מרכז המסה • בחנו את תוצאות הפעלת שני מסננים בתנאים שונים עם חשיבות לסדר המסנן. מדגם מתוצאות הפעלת מסנן חציוןומסנן בינארי. מסנן בינארי ואחר כך מסנן חציון: מסנן חציון ואחר כך מסנן בינארי: כיוון שהמסננים אינם לינאריים - לסדר המסננים חשיבות עצומה!

18. חקר ביצועים – שיטת מרכז המסה השוונו בין כל קומבינציות המסננים בתנאים שונים. מדגם מן התוצאות: השוואה בין 4 הטובים:

19. התמונה המוזזת לאחר סינון התמונה הרגילה לפני סינון התמונה הרגילה לאחר סינון חקר ביצועים – שיטת מרכז המסה • בדקנו את השפעת מיקום המטרה בתוך חלון העקיבה על חישוב מרכז המסה. מובאת כאן דוגמה להשפעת מיקום המטרה על מרכז המסה לאחר שימוש במסנן בינארי ואחריו מסנן ממצע : התמונה המוזזת לפני סינון למיקום המטרה בתוך חלון העקיבה יש השפעה גדולה על הטעות במיקום מרכז המסה!

20. חקר ביצועים - שיטת הקורלציה • כדי לבחון איזה עיבוד מקדים מתאים לשיטת עקיבה באמצעות שיטת הקורלציה, הפעלנו קומבינציות שונות של מסננים על תמונה של מטרה על גבי רקע משתנה. • בכל פעם שינינו את הרקע ואת שונות הרעש ברקע ולאחר הסינון בדקנו את גודל השגיאה בחישוב מרכז המסה.

21. חקר ביצועים - שיטת הקורלציה אף שהתמונה התחתונה כמעט ואינה ניתנת לזיהוי השגיאה בחישוב מרכז המסה קטנה !

22. חקר ביצועים - שיטת הקורלציה השוונו בין קומבינציות המסננים בתנאים שונים. מדגם מן התוצאות: תזכורת לתוצאות שיטת מרכז המסה עבור אותם תנאים:

23. שיטת מרכז מסה לעומת שיטת קורלציה

24. שילוב שיטת מרכז המסה וקורלציה לכל שיטה ישנם את היתרונות והחסרונות שלה. לכן בחרנו לשלב את שתי השיטות ביישום אלגוריתם העקיבה: • נסנן את התמונה בעזרת מסנן חציון. • באמצעות שיטת הקורלציה נאתר בחלון החיפוש את חלון העקיבה המתאים בו המטרה ממוקמת במרכז החלון. • נסנן את חלון העקיבה באמצעות מסנן בינארי. • נחשב את מרכז המסה של המטרה.

25. מסנן קלמן – למה? • במצב אופטימאלי בו המטרה כולה נגלית לעין ואין רעשים, חישוב מודל התנועה הינו פשוט. ניתן להסתפק בעיבוד תמונה כדי לבצע עקיבה מדויקת אחר המטרה. • במצב בו התמונה רועשת והמטרה לעיתים נסתרת מן העין באופן חלקי או מלא, עיבוד תמונה בלבד לא יספיק כדי לחשב את מודל התנועה ולעקוב אחר המטרה. • באמצעות מסנן קלמן נוכל לחשב מודל תנועה של המטרה ולעקוב אחריה גם במצב הסתרה.

26. מסנן קלמן – מודל המסנן מסנן זה מפיק את המשערך של וקטור המצב הבא האופטימאלי במובן של מזעור שונות השגיאה. פעולת המסנן מורכבת משני חלקים : שערוך מראש של ווקטור המצב עפ"י הפרמטרים השונים ולאחר כניסת המדידה, תיקון של הווקטור המשוערך. מודל המערכת: X – וקטור משתנה המצב Z – וקטור המדידות v – רעש המדידה w – רעש המצב Q – קווריאנס רעש המצב R – קווריאנס רעש המדידה

27. מסנן קלמן – מטריצות משוואות המצב • משתני המצב הם המיקום, • המהירות והתאוצה בשני הצירים. • המדידות הן מיקום מרכז המסה • בציר X ובציר Y. • המטריצות F ו-H מקשרות • בין משתנה המצב והמדידות • בהתאמה בזמן k ובזמן k-1.

28. - חיזוי וקטור המצב - הגבר המסנן - קווריאנס החידוש מסנן קלמן – משוואות המסנן 1) 2)

29. חלון בעל גודל משתנה • היתרון הברור של חלון עקיבה גדול, יחסית לגודל המטרה, הוא שבתמונה מורעשת קל יותר לעקוב אחר המטרה בשיטת מרכז המסה והקורלציה. אולם חסרון עיקרי בחלון גדול הוא עלות החישוב. לכן ממשנו חלון המשתנה בגודלו כתלות ב"איכות" התמונה. • גודל החלון יקבע באופן הבא: Sup.

30. גילוי הסתרה תמונת הייחוס תמונה נוכחית If correlation (current frame, reference frame) < threshold OR (mass is out of range) begin prediction using Kalman filter;

31. גילוי מטרה במצב הסתרה תמונת הרפרנס תמונה נוכחית If diff (current frame, reference frame) > threshold { Target located; /* the target is the difference*/ Draw frame around the target and compute center of mass; }

32. גילוי מטרה במצב הסתרה - חסרונות • במידה והרקע או ההסתרה משתנים באופן משמעותי בזמן שהמטרה בהסתרה, היא עלולה לא לצאת מהסתרה לעולם מכיוון שתמונת הייחוס אינה רלוונטית יותר. • אם והמטרה משנה מהירות או כוון בזמן ההסתרה היא עלולה לא לצאת מהסתרה במידה וחלון החיפוש אינו גדול מספיק.

33. ייצוב תמונה רועדת - רעיון • שימוש ברעיון שיטת הקורלציה, בכדי למצוא את גודל ההזזה של התמונה הנוכחית מתמונת מקור מיוצבת.

34. ייצוב תמונה רועדת – רעיון (2) • הייצוב מתבצע בתוך חלל הגדול מהדמות, ההזזה בכל אחד מהצירים היא משתנה אקראי המפולג באופן אחיד על תחום [10..10-].

35. ייצוב תמונה רועדת - מדידות

36. ייצוב תמונה רועדת - תוצאות

37. אלגוריתם העקיבה עדכון משתני המצב. שמירת תמונת ייחוס. בינאריזציה וחישוב מרכז מסה. מעבר לתמונה הבאה עקיבה לא האם המטרה מוסתרת חלקית? (ע"פ מסה ומקדם קורלציה) סינון רעשים חיפוש חלון העקיבה ע" קורלציה בינאריזציה של התמונה וחישוב מסת המטרה אתחול חיזוי כן חיזוי לפי משתני מצב של מסנן קלמן האם המטרה התגלתה? מעבר לתמונה הבאה כן, מעבר לתמונה הבאה לא

38. סיכום ומסקנות • מימוש אלגוריתם עקיבה בשיטה המשלבת את שיטת מרכז המסה והקורלציה מניב תוצאות טובות יותר מאשר כל שיטה לחוד. • עיבוד מקדים מסנן רעשים ובכך משפר משמעותית את העקיבה אחר המטרה. העיבוד יוצר הפרדה מדויקת יותר לאזורי "מטרה" ו"רקע". • אלגוריתם עקיבה טוב הוא אלגוריתם אדפטיבי המתאים את פרמטרי העקיבה לשינויים בתמונה. דוגמאות לתכונת האדפטיביות, שנלקחו מן המימוש שלנו: • חלון עקיבה בעל גודל משתנה. • בכל תמונה ביצענו חישוב מחדש של ערך הסף, אשר בעזרתו אנו יוצרים את התמונה הבינארית, בהתבסס על ההיסטוגרמה של התמונה.

39. תודות נרצה להודות לדר' גבי דוידוב על העזרה והתמיכה במהלך הפרויקט וכן לכל צוות המעבדה.