Texture Synthesis by Non-parametric Sampling

1. Texture Synthesis by Non-parametric Sampling By: Alexei A. Efros & Thomas K. Leung מוצג ע"י: גלמן אלכסנדר ואיתי אברהם

2. מה יהיה לנו היום? • איפה השיטה של De-bonet נכשלת • הגישה של Efros & leung • הבעיתיות של השיטה ודרכים לפתרון • ישומים של השיטה

3. איפה De-Bonet נכשל? • הרנדמיות של השיטה עובדת בעיקר עבור מרקמים סטוכסטים • מניחה כי מרקמים ניתנים לריצוף

4. דוגמא לכישלון הרנדומיות של השיטה לא מצליחה לשמור על המבנה של המרקם ניתן בבירור גבולות בין ריבועים

5. השיטה של Efros & leung • Markov Random Field כמודל למרקם • התפלגות ערכי פיקסל תלויה בשכנים לו • ההתפלגות לא תלויה בשאר התמונה • יצירת המרקם פיקסל פיקסל • מציאת ערך של פיקסל מתוך התפלגות ערכים

6. איך ניצור פיקסל? • נסתכל על תמונת המדגם שלנו • נחפש שכונות דומות לשכונה של הפיקסל שלנו • נבנה היסטוגרמה לערכי הפיקסל האפשריים • נבחר את אחד הערכים

7. מהי שכונה? • ניתן להגדיר בדרכים רבות • במקרה שלנו נגדיר כחלון מסביב לפיקסל שאנו יוצרים • גודל החלון הואפרמטר בידי המשתמש שכונה בגודל 3x3 הפיקסל שאנו מחפשים

8. איך נמצא שכונות דומות? • נשתמש בסכום ריבועי מרחקים בין שני חלונות • נוסיף מסכת גאוסיין כדי למשקל • ערכים רחוקים יקבלו פחות משקל מערכים במרכז החלון • נמצא את החלון הכי דומה לחלון שלנו • המרחקים לחלונות הדומים צריכים להיות עד כדי פי 1+ מהמרחק לחלון הכי דומה

9. איך נמצא שכונות דומות? • לא כל ערכי הפיקסלים בתוך החלון ידועים בהכרח • הפיקסל הבא ליצירה יהיה זה עם מירב השכנים הידועים • נחשב מרחקים רק עבור פיקסלים ידועים • ננרמל את התוצאה בהתאם למספר הפיקסלים הידועים

10. דווגמא

11. בחירת גודל החלון 23x23 5x5 11x11 15x15

12. דוגמאות נוספות

13. סיכום - איך זה עובד? • מציאת הפיקסל הבא ליצירה • מציאת כל השכונות הדומות לשכונה של הפיקסל • יצירת היסטוגרמה עבור כל ערכי הפיקסל בחלונות הדומים • בחירה של אחד הערכים

14. השוואת תוצאות De-Bonet ריצוף Efros

15. שימושים • יצירת תמונה חדשה לפי דוגמא • לוקחים חלון בגודל 3x3 • מגדלים אותו עד לגודל הרצוי

16. שימושים • הגדלת מרקם קיים

17. שימושים • מילוי חורים

18. תוצאות נוספות

19. יצירת טקסט

20. כשלונות

21. יתרונות וחסרונות • יתרונות: • שיטה פשוטה • טובה עבור מבחר גדול של מרקמים • שימושים ויישומים רבים • חסרונות: • זאת יוריסטיקה • שיטה חמדנית • מאוד מאוד איטי!

22. מהירות ריצה • החסרון המרכזי: מהירות ריצה של מספר שעות • נובע מהדרך שבה מחפשים חלונות דומים • פתרון?: נשתמש בקונבולוציה במקום ב-SSD

23. למה זה יותר מהיר? • על פניו קונבולוציה אינה מהירה יותר • אפשר ל"רמות" ולהשתמש במשפט הקונבולוציה • חישוב FFT והכפלה פיקסל בפיקסל נעשת מהר יותר • היתרון בא לידי ביטוי במיוחד בחלונות גדולים

24. כמה זה יוצא? • כדי לבצע את הקונבולוציה יש להגדיל את שתי התמונות כדי שיהיו באותו גודל: • עבור תמונה בגודל וחלון בגודל • זמן הריצה עם SSD יהיה: • זמן הריצה עם FFT יהיה:

25. כמה זה יוצא?

26. השוואת תוצאות SSD FFT

27. דרכים נוספות • ניתן לקבץ מראש חלונות דומים בתמונה • בזמן החיפוש מספיק להשוות עם חלון אחד מכל קבוצה • במקום לחפש את הפיקסל הבא ליצירה, ניצור את הפיקסלים בסדר קבוע

28. אבל • יצירת פיקסלים בסדר קבוע גורמת ליצירת רעש

29. ישומים • מילוי חורים • שימושי במודלים תלת מימדיים • דחיסת תמונה לפי אזורים • קטע קטן מכל אזור נשמר יחד עם מידע על הגבולות • ניתן לשחזר את האזור על ידי הגדלת הקטע שנשמר

30. ישומים • ניתן להשתמש בשיטה כדי לטפל בגבולות תמונה בעת קונבולוציה

31. ישמוים • ניתן גם להרחיב לתלת מימד

32. שילוב תמונה ומרקם • נרצה ליצור תמונה חדשה שנראת כמו המקורית אך מורכבת מהפריטים במרקם.

33. איך עושים את זה? • הדרך הלא נכונה • להלביש תמונה אחת על השנייה

34. איך עושים את זה? • הדרך הנכונה: • ליצור את התמונה בעזרת ערכים מהמרקם

35. איך זה עובד? • ניצור תמונה חדשה • כדי ליצור פיקסל נסתכל על החלון המקביל בתמונה המקורית • נחפש k חלונות דומים במרקם • מבין החלונות הדומים נחפש את החלון הדומה ביותר לחלון בתמונה החדשה.

36. דוגמא

37. התמונה החדשה • לא ניתן ליצור תמונה שגם דומה לתמונה המקורית וגם דומה למרקם • ניתן לקבוע האם התמונה תהיה דומה יותר לתמונה או למרקם • משוג על ידי שינוי כמות החלונות הדומים • יותר חלונות  התמונה דומה יותר למרקם • פחות חלונות  דומה יותר לתמונה המקורית

38. דוגמא גבוה k נמוך k

39. תוצאות

40. תוצאות

41. הבעייתיות של השיטה • התנהגות דטרמיניסטית • מכיוון שהאלגוריתם תמיד בוחר את ההתאמה הכי טובה • יכול לגרום לאלגוריתם להינעל וליצר זבל

42. הבעייתיות של השיטה • ערך ה-k קבוע עבור כל התמונה • מצד אחד יכולים להיות הרבה איזורים מסוג אחד • מצד שני יכולים להיות מעט איזורים מסוג שני • לדוגמא: יש מעט אזורים כהים אבל הרבה בהירים

43. הבעייתיות של השיטה • חוסר התאמה בין החלונות לחלון בתמונה החדשה • נגרם בגלל שאנו מחפשים חלונות הדומים לתמונה המקורית • יתכן כי אם נחפש חלונות קצת פחות דומים נקבל תוצאה טובה יותר

44. פתרון אפשרי • נדרג כל חלון אפשרי במרקם ביחס לתמונה המקורית וביחס לתמונה החדשה • נבחר מספר חלונות שהכי מתאימים גם לתמונה המקורית וגם לתמונה החדשה • נגריל את אחד החלונות

45. מישקול התוצאות • ניתן למשקל את תוצאות הדימיון • נעשה זאת על מנת לגרום לתמונה החדשה להיות דומה יותר למרקם או לתמונה המקורית • נכפיל את סכום התוצאות במשקל w • כאשר w קטן מ-1 נקבל יותר דימיון למרקם • כאשר w גדול מ-1 נקבל יותר דימיון לתמונה

46. תוצאות W=0.5 W=0.75 W=1.0 W=1.25

47. תוצאות

48. הבדלים בין שתי השיטות • השיטה השנייה מאפשר שליטה גדולה יותר על הדימיון • השיטה השנייה נותנת תוצאות קצת יותר טובות • השיטה הראשונה הרבה יותר מהירה

49. ביבליוגרפיה • "Texture Synthesis by Non-parametric Sampling''Alexei A. Efros and Thomas K. Leung IEEE International Conference on Computer Vision (ICCV'99), Corfu, Greece, September 1999 • Using fft:"FFT Based Procedure for Texture Synthesis ",  Xuewen Chen • Combining Textures and Pictures with Specialized Texture Synthesisby Alex Eilhauer, Alice Pritikin and Dylan Weed  (under direction of Steven J. Gortler)

50. סוף