עקיבה אחר אובייקטים בסרט וידאו באמצעות שילוב אלגוריתם Condensation/Particle filter ו– Mean shift

1. עקיבה אחר אובייקטים בסרט וידאו באמצעות שילוב אלגוריתםCondensation/Particle filterו–Mean shift מנחה: אריה נחמני מגישים: אור שור תומר מץ

2. מבנה המצגת: • מבוא • רקע תיאורטי: -Particle Filter-Mean Shift • מבנה מערכת • תוצאות • סיכום

3. מטרות הפרויקט: • מימוש מערכת לעקיבה אחר אובייקטים בסרט וידאו בעלת מאפיינים המאפשרים עקיבה גם במקרים של - • תנאי סביבה משתנים • הסתרות מסוגים שונים • תנועות מצלמה

4. מבוא: • מוטיבציה – ניצול יתרונותיהן של שיטות שונות תוך צמצום חסרונותיהן

5. Particle filter • מנגנון לחיזוי מצב אובייקט X, במקרה הכללי ללא הנחות מוקדמות לגבי צפיפות ההסתברות שלו ואופי הרעש בתמונה. • הבעיה – הערך "המעניין" בתמונה – מצב האובייקט אינו ניתן למדידה ישירה ויש לשערך אותו מתוך מצבים קודמים ומדידות זמינות. מצב אובייקט מדידות

6. פתרון: קרוב ההסברות באמצעות סט של דגימות ממושקלות:

7. השיטה: הפעלת מודל חיזוי על סט דגימות קיים, הוספת רעש לכל דגימה, נתינת ציון חדש לדגימות וקביעת מיקום האובייקט החדש כתוחלת כל הדגימות.

8. Mean Shift • שיטה למציאת נקודות מקסימום של פילוג הסתברות • הנחה – מדידות בתמונה מבטאות דגימות של פילוג הסתברות קיים. מדידות בתמונה פילוג הסתברות חבוי משוער

9. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

10. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

11. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

12. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

13. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

14. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

15. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

16. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

17. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

18. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

19. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

20. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

21. השיטה:מציאת מרכז מסה בסביבה של נקודה קיימת וייצור וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה החדש עם המרכז הקודם או עד לערך סף מסוים.

22. מבנה המערכת

23. מודול ה- Particle Filter • הפעלת מודל החיזוי על כל particle (Prediction) מיקומו האפשרי של האובייקט בפריים הבא נקבע עפ"י מיקומו בפריים הקודם ומהירות התנועה שלו-

24. מודול ה- Particle Filter • הוספת רעש אקראי לכל דגימה (Diffuse) :לכל דגימה מוסף רעש אקראי עם שונות כלשהי עבור הגורם בעל הסדר הגבוה במודל . • לאחר שמחושב מיקום האובייקט מוסף שוב רעש (לאו דווקא זהה) לתוצאה.

25. מודול ה- Particle Filter • נתינת ציון לכל דגימה - לקביעת הציון נבחן שימוש בקריטריונים הבאים וקומבינציות שלהם: • קורלציה בין היסטוגרמת האובייקט להיסטוגרמת הרקע • שימוש ב- Bhattacharyya distance של היסטוגרמת RGB. • קורלציה בין היסטוגרמת האובייקט הנוכחי לבין היסטוגרמת האובייקט המקורית • חלוקת האובייקט לחלק עליון ותחתון. • מיקום האובייקט החדש נקבע כממוצע משוקלל של הדגימות שהתקבלו ונתוני האובייקט מעודכנים בבסיס הנתונים.

26. מודול ה- Mean Shift • לאחר סיום פעולת ה-Particle Filter יופעל Mean Shift. • נבנה חלון חיפוש סביב מיקום האובייקט כפי שהתקבל מה-Particle Filter . • נמצא מרכז המסה של חלון החיפוש .

27. שילוב תוצאת ה-PF עם ה- Mean Shift • במידה ותוצא ה-mean shift מקבל ציון גרוע יותר מתוצא ה-particle filter, מעודכן מרכז המסה למחצית המרחק בין התוצאות: • תהליך זה יחזור על עצמו עד להתכנסות

28. סגמנטציה • לעיתים לאחר סיום השלבים הקודמים המלבן החוסם עדיין אינו עוטף את האובייקט בצורה מדויקת ובכל מקרה האינפורמציה שבידנו כוללת רעשים: • על מנת לקבל מידע מדויק יותר על האוביקט מבוצעת סגמנטציה בסביבת המיקום החדש של האוביקט.

29. סגמנטציה (a) האובייקט לפני סגמנטציה (b) תמונת ההפרשים (c)התמונה הבינארית מתוך תמונת הפרשים (d) התמונה הבינארית לאחר ניקוי רעש ו-dilation (e) התמונה לאחר ניקוי רעש ו-erosion (f) סימון האובייקט לאחר הסגמנטציה • בסיום הסגמנטציה האוביקט מסומן מחדש ונתוניו מעודכנים בבסיס הנתונים.

30. תוצאות עקיבה ללא הסתרות:

31. תוצאות עקיבה עם הסתרה סטטית:

32. תוצאות • עקיבה עם הסתרה דינאמית: • בעיה: אובדן זהות של אובייקטים במיקום קרוב כתוצאה מהבדל בציונים שהם מקבלים ביציאה מן ההסתרה. • פתרון אפשרי: הפסקת עדכון המשקלים בזמן ההסתרה והסתמכות על מודל התנועה.

33. תוצאות • עקיבה עם הסתרה דינאמית: • בעיה: הפתרון הקודם מתאים רק למקרים פשוטים, ומחייב עקיבה סימולטנית אחרי כל האוביקטים ב-frame. • פתרון: הסתמכות על מאפייני צבע.

34. תוצאות עקיבה עם מצלמה נעה:

35. סיכום מתוך בדיקות המערכת על כ-25 סרטים שונים נתקבלו המסקנות הבאות: 1. המערכת מאפשרת עקיבה מדויקת בתנאי סביבה פשוטים. 2. בחירת הפרמטרים למערכת צריכה להיעשות תוך התחשבות בתנאים המשוערים של הסצנה. 3. בבחירת פרמטרים מתאימה, המערכת מסוגלת להתמודד היטב עם הסתרות סטאטיות לפרקי זמן שאינם ארוכים מאוד. 4. התמודדות עם הסתרות דינאמיות מחייבת הנחות מוקדמות או בניית מודל ייעודי. 5. עקיבה בתנאים של תנועת מצלמה כרוכה באובדן דיוק של העקיבה.

36. סיכום הצעות לשיפור ולהמשך עבודה: 1. שינוי הפרמטרים לעקיבה בצורה דינאמית במהלך הסרט. 2. בחינת שימוש במרחבי צבע שונים ע"מ לייצר אבחנה טובה בין אובייקטים. 3. ביצוע תהליך הדגימה בצורה מקבילית ע"מ לשפר ביצועים. 4. שימוש במודל רקע מסתגל על מנת להפחית רעשים הנגרמים מתנאי הסביבה (צללים, שינויי תאורה, תנועה סטאציונרית של עצמים וכו'). 5. שיערוך תנועת מצלמה והזנת התוצאות כקלט לאלגוריתם. 6. בחינת שילוב מסווג בתהליך העקיבה ע"מ להתמודד טוב יותר עם תנאים של הסתרה דינאמית.