FAsT -Match : Fast Affine Template Matching

1. FAsT-Match:Fast Affine Template Matching • מאת: שמעון קורמן, גלעד צור, דניאל רייכמן ושי אבידן • אוניברסיטת ת"א ומכון וייצמן • CVPR 2013 • יהונתן גולדמן • FAsT-Match presentation, Simon Korman et. al., CVPR 2013

2. על מה נדבר? • המטרה • למה זה טוב? • עבודות קודמות • האתגרים והשיטה • ניסויים ותוצאות • סיכום - הטוב, הרע ולהבא • טוב ורע באופן הכתיבה

3. למצוא את הטרנס' האפינית הטובה ביותר בין זוג תמונות • המטרה: • FAsT-Match presentation, Simon Korman et. al., CVPR 2013

4. למה זה טוב? (1) - התמצאות Ultra-wide Baseline Facade Matching for Geo-Localization, MayankBansalet. al., ECCV 2012 workshop

5. למה זה טוב? (2) - שחזור תלת-מימדי Piecewise planar scene reconstruction and optimization for multi-view stereo, Hyojin Kimet. al., ACCV 2012

6. למה זה טוב? (3) - עקיבה Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite, Andreas Geiger et. al., CVPR 2012

7. מציאת טרנספורמציה בין זוג תמונות • עבודות קודמות: • Parametric OF (Lucas Kanade) Lucas, Kanade “An iterative image registration technique with an application to stereo vision” [ICAI 1981] Baker, Matthews “Lucas-Kanade20 years on: A unifying framework” [IJCV 04] • חסרונות יחסיים: • תלות בתנאי התחלה • רגישות למינימום מקומי • FAsT-Match presentation, Simon Korman et. al., CVPR 2013

8. מציאת טרנספורמציה בין זוג תמונות • עבודות קודמות: • Template Matching • בהתחלה טופלו רק הזזות • יש מאמרים שמטפלים גם בסיבוב ו-scale (4 ד"ח) • חסרונות יחסיים: • מודל חלקי - לא אפיני מלא • ככל שיש יותר ד"ח, זמן הריצה גדל והאלג' מסתבך “Performance Evaluation of Full Search Equivalent Pattern Matching Algorithms” [Ouyang, Tombari, Mattoccia, Di Stefano, Cham, TPAMI 2012] “Grayscale template-matching invariant to rotation, scale, translation, brightness and contrast” [Kim, Araujo 2007] … • FAsT-Match presentation, Simon Korman et. al., CVPR 2013

9. מציאת טרנספורמציה בין זוג תמונות • עבודות קודמות: • חיפוש במרחב עיוותים צפוף • חסרונות יחסיים: • ממזערים מרחק במרחב הפרמטרים ולא בתמונה • זמן ריצה? • A Globally Optimal Data-Driven Approach for Image Distortion Estimation, Tian and Narasimhanet. al., IJCV 2012

10. מציאת טרנספורמציה בין זוג תמונות • עבודות קודמות: • Feature-Based (ASIFT by Morel & Yu) • חסרונות יחסיים: • גודל ה-patch צריך להיות מספיק גדול • נדרשים מספיק מאפיינים ייחודיים • ASIFT: A New Framework for Fully Affine Invariant Image Comprasion, GM Morel and G. Yu, SIAM v.2 p.438-469, 2009

11. השיטה המוצעת - עקרון פעולה • במילה אחת - פשוט: Transformation space (e.g. affine) • בשתי מלים - לא פשוט: • המון טרנס' אפשריות - חייבים קירוב יעיל • איך דוגמים את המרחב ביעילות ומבטיחים שגיאה חסומה? • FAsT-Match presentation, Simon Korman et. al., CVPR 2013

12. השיטה המוצעת - עקרון פעולה • בונים רשת טרנס' מייצגותתלוי פרמטר שגיאת קירוב: • בודקים רק את הטרנס' המייצגות ובוחרים בקרובה ביותר לתמונה • המרחק הוא SAD, מקורב: SAD= • הרעיון המרכזי: קירבה בין הטרנס' חוסמת הבדלי SAD (חלקות) • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013

13. השיטה המוצעת - פירוט • רשת הטרנס' T <δn1 Tnet • הגדרת קירבה עבור סף : • FAsT-Match presentation, Simon Korman et. al., CVPR 2013

14. השיטה המוצעת - פירוט • רשת הטרנס' • חסם המרחק בין הטרנס' גוזר חסם על שגיאת ה-SAD: Total Variation • זה המפתח לשיטה

15. השיטה המוצעת - פירוט • חסם על ה-SAD • TVj≥ • פיקסל k • מה-patch • Tnet • פיקסל j • מה-patch • T • ערך הפיקסל • ה-i בתמונה • הפרש של • פיקסל אחד:

16. השיטה המוצעת - פירוט • חסם על ה-SAD • TVj≥ • פיקסל k • מה-patch • Tnet • פיקסל j • מה-patch • T • ערך הפיקסל • ה-i בתמונה • הפרש של • פיקסל אחד:

17. השיטה המוצעת - פירוט • חסם על ה-SAD • TVk≥ • TVj≥ • הזזה של פיקסלים • חסומה ע"י סכום הפרשי • הפיקסלים - TV: • פיקסל k • מה-patch • Tnet • פיקסל j • מה-patch • T • ערך הפיקסל • ה-i בתמונה • הפרש של • שני פיקסלים:

18. השיטה המוצעת - פירוט • SAD • חסם על ה-SAD • הסבר נוסף: • רשת הטרנס' הדגומה δn1 • הטרנס' הקרובה • ביותר לאופט' - • חסם על השגיאה • הטרנס' הטובה • ביותר ברשת • הטרנס' • הנכונה • עבור תמונות חלקות, ה-SAD לא יכול להשתנות הרבה עבור טרנס' קרובות, מכאן חסם על שגיאת הרשת: • לכן הפתרון שנמצא יהיה גם הוא מספיק קרוב ( ) • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013

19. השיטה המוצעת - פירוט • חישוב SAD מקורב • הקירוב מתבצע ע"י בדיקה רק על חלק מהפיקסלים: • לכל טרנס' בודקים על כמה סטים אקראיים של נק' • לכל דגימה מנרמלים את רמות האפור, לשיפור עמידותלהבדלים פוטומטריים • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013

20. השיטה המוצעת - פירוט • הקטנת ספי השגיאה בהדרגה • לסף שגיאה אופייני עדיין יש ברשת יותר מדי טרנס' • מה עושים? B&B • מודל שנלמד מהרבה תמונות: δ1n1 • SAD TClosest T* TOpt • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013

21. השיטה המוצעת - פירוט • הקטנת ספי השגיאה בהדרגה • לסף שגיאה אופייני עדיין יש ברשת יותר מדי טרנס' • מה עושים? B&B • מודל שנלמד מהרבה תמונות: δ2n1 • SAD • רשת הטרנס' הדגומה • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013

22. ניסויים • ניסוי ראשון: גזירת patch מתמונה • בדיקת ביצועים ע"י בחינת שגיאת השטח החופף: • בדיקה על תמונות מ-PASCAL, טרנס' אקראיות (200 לכל גודל) • FAsT-Match, Simon Korman et. al., CVPR 2013

23. ניסויים • ניסוי ראשון: גזירת patch מתמונה • הוספת רעש, טשטוש ודחיסת jpeg (סף הצלחה 20%) • ההשוואה בעייתית - הפלטים לא זהים • FAsT-Match, Simon Korman et. al., CVPR 2013

24. ניסויים • ניסוי ראשון: גזירת patch מתמונה • דוגמאות • FAsT-Match, Simon Korman et. al., CVPR 2013

25. ניסויים • ניסוי ראשון: גזירת patch מתמונה • דוגמאות • FAsT-Match, Simon Korman et. al., CVPR 2013

26. ניסויים • ניסוי ראשון: גזירת patch מתמונה • דוגמאות - כשלונות • FAsT-Match, Simon Korman et. al., CVPR 2013

27. ניסויים • ניסוי שני: סט Mikoalyciz et. al. • 8 סטים של 6 תמונות המתארים מגוון סוגי עיוותים • 50 ניסויים על templates אקראיים בגודל 10%-50% • FAsT-Match, Simon Korman et. al., CVPR 2013

28. ניסויים • ניסוי שני: סט Mikoalyciz et. al. • FAsT-Match, Simon Korman et. al., CVPR 2013

29. ניסויים • ניסוי שלישי: תמונות מהעולם האמיתי - תמונות מבנים מציריך • עיוותים מעבר למודל האפיני • דוגמאות לכשלונות • סתם נכשל • חצי מוסתר • לא מישור • FAsT-Match, Simon Korman et. al., CVPR 2013

30. סיכום • דיוק מוגבל (רזולוצית הדגימה) • יתקשה בתמונות לא חלקות (טקסטורות) • קושי כשהמידע החשוב דליל • פונק' מרחק פשוטה: רגישות למידע דליל ולהסתרות חלקיות • האלג' האמיתי הראשוןל-template matchingאפיני • הבטחת שגיאה חסומה • מהיר מאוד, יחסית לאתגר • מנצל היטב את תכונת החלקות של תמונות • רעיונות לשיפור ושכלול • הפעלת OF פרמטרי לאחר סיום הריצה לשיפור הדיוק • שימוש במדד דמיון עמיד כדי לצמצם מרחב הטרנס' (ASIFT) • פיתוח שיטה דומה להומוגרפיות מלאות או לצורות 3D

31. טוב ורע בכתיבת המאמר • פיתוח האלגוריתם מסורבל מעט • פרטים משמעותיים חסרים, כולל הוכחות או משתנים שלא מוגדרים • תמונות והסברים חזותיים לא מספקים • היה מעניין להשוות לשיטה של Tian ו-Narasimhan • רעיון חדשני ויצירתי • עקרון הפעולה מוסבר היטב • חסרונות האלגוריתם מפורטים • הרבה ניסויים ודוגמאות

32. תודה רבה על ההקשבה שאלות?