עיבוד וניתוח תמונות שבוע 2

1. עיבוד וניתוח תמונותשבוע 2 מרצה: ד"ר דב מלונק מכללת עמק הירדן

2. רשימת נושאים • חזרה • דגימה וקוונטיזציה • תרגול - שימושי matlab בעיבוד תמונות • עבודת בית דב מלונק

3. מטרות השיעור • תכונות ההארה של קרינה אלקטרומגנטית • חיישנים ושימושם במערכת דימות דיגיטלית • דגימה אחידה וכימוי רמות אפור בתמונה • יחסי שכנות בין פיקסלים • חזרה על מערכות לינאריות דב מלונק

4. יצירת תמונה • בד"כ אנו מצלמים עצמים בעלי משטחים אטומים • מודל פשוט של ההארה/החזרה(Illumination/reflection) • מקורות תאורה • עצמים מחזירים • מצלמה קולטת אור שנובע מהמקור פוגע במשטח פני העצם, חוזר ממנו, דרך עדשת המצלמה ומתמקד במישור הדמות (או התמונה) דב מלונק

5. מהי תמונה דיגיטלית (image) ? • תמונה ניתנת להגדרה כפונקציה של שני משתנים • המשתנים x ו y הם קואורדינטות מרחביות • ערך הפונקציה f(x,y) , בכל קואורדינטה (x,y) היא העוצמה או "רמת האפור" של התמונה בנאותה נקודה • כאשר x, y וערכי הפונקציה f הם סופיים ודיסקרטיים התמונה היא דיגיטלית • בתמונה דיגיטלית יש מספר סופי של אלמנטים שמאופיינים ע"י מיקום וערך מוגדרים • כל אלמנט נקרא בשם pixel, picture element, image element or pel

6. תת-תחומים של "עיבוד תמונות" • שיפור תמונה - enhancement • שיפור איכות התמונה מקילקולים שנוצרו בשעת ההדמיה שטיבם אינו ידוע • שיחזור תמונה- restoration • שיפור איכות התמונה מקילקולים שטיבם ידוע מראש - הפרעה מחזורית, מריחת תנועה - וקבלת תמונה מקורית • ניתוח תמונה - analysis • זיהוי מרכיבי התמונה וקשרים ביניהם. מאפשר ביצוע משימות בפיקוח מחשב על בסיס המידע הנרכש • דחיסת תמונה- compression • סילוק חלקי מידע מיותרים מהתמונה לצורך ייצוג חסכוני - רוחב פס לתקשורת • בניית תמונה - reconstuction • בניית תמונה מלאה ממידע חלקי . למשל, הדמיה של מבנה תלת מימדי על בסיס מידע חלקי דב מלונק

7. מקורות אנרגיה ליצירת תמונות • מערכות דימות דיגיטליות אינן מוגבלות לתמונות שמקורם בתחום הגלים האלקטרומגנטיים הנראה • תמונות שמקורם בכל תחום התדרים האלקטרומגנטי מגלי רדיו ועד גמא • תמונות אולטראסאונד, תהודה מגנטית, מיקרוסקופ אלקטרוני, סונאר וכו' • מקור התמונה הדיגיטלית יכול להיות גם במחשב עצמו -תוצאת סימולציה או גרפיקה ממוחשבת דב מלונק

8. מבנה מערכת עיבוד תמונה מחשב מצלמה A/D זיכרון תמונה D/A תצוגה מעבד תמונה מהיר דב מלונק

9. מה מתרחש בעין האנושית ? דב מלונק

10. מבנה העין קוטר העין - 20 מ"מ קוטר האישון - 2-8 מ"מ ציר הראייה - ממרכז העדשה לפוביאה פוביאה - שקע קטן בקוטר 1.5 מ"מ סיבוב העין להבאת האובייקט הנצפה למרכז הפוביאה דב מלונק

11. מבעד לאופתלמוסקופ דב מלונק

12. מבנה העין קרנית - שכבה שקופה החזית העין קרום הלובן - המשך של קרנית דמית - אספקת דם חיוני לכל חלקי העין צבע שחור להקטנת החזרות אור לרשתית קשתית ואישון - בקרה של כמות האור הנכנסת לעין צבע העין בצד החיצוני שחור בצד הפנימי רשתית - מורכבת מחיישנים רגישים לאור קנים וחרוטים עדשה - 70% מים, 6% שומן והיתר פרוטאינים צבע צהבהב שמתעכר עם הגיל (קטרקט) בליעה של 8% מהאור הנראה בליעה גבוהה של אולטרא-סגול ואינפרא-אדום ע"י פרוטאינים נזק ברמות גבוהות של קרינה מיליון סיבי עצב מרכיבים את עצב הראייה - דרך הכתם העיוור

13. פיזור חיישנים ברשתית גודל קולט 2-2.3 m צפיפות קולטים משתנה עיין בתנועה -> רזולוציה משתנה בקואורדינטות עולם כתם עיור- מיליון סיבי עצב במוצא הכתם העיוור 7 מיליון חרוטים (מדוכים) בפוביאה ראית אור וצבע - photopic חדות גבוהה - צפיפות תאים יחס גבוה של חיישנים לתאי עצב 75-150 מיליון קנים בשאר הרשתית ראיה חסרת צבע - Schotopic רגישות גבוהה לאור צפיפות מירבית - 20 מעלות ראיה כללית של שדה ראיה יחס נמוך של חיישנים לתאי עצב

14. פיזור החרוטים בפוביאה - סימולציה

15. יצירת תמונה ברשתית תמונה דינמית החיישנים מחווטים בצורה קבועה למוח בעזרת עצב הראייה צפיפות שונה של החיישנים ברשתית - דגימה לא אחידה של תמונת העולם תנועת העין - דגימה למקוטעין של העולם החיצון שינוי קוטר העדשה בהתאם למרחק האובייקט משנה מרחק מוקד ממרכז העדשה לרשתית 17 מ"מ עבור אובייקטים רחוקים מ 3 מטר 14 מ"מ עבור אובייקטים במרחק 25 מ"מ

16. יצירת תמונה ברשתית דוגמא מה גודל הדמות המוקרנת על הרשתית של עץ בגובה 10 מטר שמרחקו 100 מטר מעין ? 10m בהנחה שמרחק המוקד של העדשה 17 mm אזי : 10/100=h/17 h=1.7 mm

17. יצירת תמונה ברשתית גודל הדמות 10/100=h/17 h=1.7 mm 10m איך נדגמת התמונה ברשתית ? כמה חיישנים יגיבו לדמות העץ ? בהנחה שכל הדמות מוטלת על אזור הפוביאה ניתן לחשב בקירוב שגודל הדמות מוקרן על : חרוטים Sqrt(1.7^2*150000)  660X660 זו כבר תמונה דגומה!

18. בחירת המצלמה

19. מערכי חיישנים לקלט תמונה • תהליך בסיסי ליצירת תמונה • פוטון פוגע בחיישן • החיישן נטען • המטען נקרא החוצה כבהירות סוגי חיישנים Silicon MCT InSb Fluorecent screen Piezoelectric crystal

20. מערכי חיישנים לקלט תמונה קלט תמונה בעזרת חיישן בודד סריקה מכנית או אופטית בשני ממדים איטי ומדויק ביותר - אין שונות בין חיישנים דגימה מרחבית בצפיפות גבוהה

21. מערכי חיישנים לקלט תמונה קלט תמונה בעזרת רצועת חיישנים 4K-8K חיישנים סורקים, תצלומי אויר חתכים למערכות CT,PET,MRI - תלת מימד ע"י אלגוריתמי שיחזור דגימה מרחבית בצפיפות גבוהה בציר ההנעה המכני ובציר הניצב היא קבועה - מוגדרת ע"י מרחק פיסי בין חישנים

22. מערכי חיישנים לקלט תמונה קלט תמונה בעזרת מערך דו-ממדי • דגימה מרחבית מוגדרת ע" מרחק בין חיישנים • סוגי חיישנים • (charge-coupled device) CCD • הכי נפוץ • רגיש מאוד • חיישן בודד לא ניתן לגישה ישירה • הצפה (Blooming) • עד 4000X4000 • מטען יחסי לאינטגרל האור - קירור, אסטרונומיה • CMOS • פשוט לייצור - זול • רגישות נמוכה, מתח נמוך • כל חיישן ניתן לגישה ישירה

23. מערכי חיישנים לקלט תמונה קלט תמונה בעזרת מערך דו-ממדי

24. תמונה כפונקציה דו-ממדית בליעה מוחלטת החזרה מוחלטת יצירת התמונה • נתייחס לתמונת שחור לבן כאל פונקציה f(x,y) במישור (x,y) • כאשר התמונה נוצרת מתהליך פיסיקלי - ערכיו יחסיים לאנרגיה שנפלטה מהמקור לכן יש לפונקציה ערך חיובי וסופי בכל נקודה • הפונקציה ניתנת לאיפיון ע"י שני משתנים - רמת ההארה של המקור i(x,y) ורמת ההחזרה של האובייקטr(x,y) • תאור מערכת בליעה זהה לחלוטין - במקום החזרה נחשב בליעה

25. יצירת התמונה דוגמא ביום בהיר רמת הקרינה של השמש יכולה להגיע ל 90000 lux רמת קרינה זו יורדת ל 10000 lux ביום מעונן 1000 lux בתאורת חדר רגילה 0.1 lux בליל ירח מקדם החזרה של קטיפה שחורה היא 0.01 0.65 לפלדה 0.8 לקיר לבן 0.93 לשלג

26. לא חלק מהתמונה תמונה ברמות אפור תמונה כפונקציה דו-ממדית יצירת התמונה העוצמה של תמונה בכל נקודה (l)נקראת רמת האפור של התמונה בנקודה זו. נגדיר ש: למעשה lmin=iminrmin ו lmax=imaxrmax שימוש בערכים אופיינים לתאורת חדר מקבלים ערכים של 10 ו 1000. האינטרוול [lmin,lmax] נקרא טווח רמות האפור. בדרך כלל מסיטים את האינטרוול ל [0,1] כאשר l=0 הוא שחור וl=1 הוא לבן.

27. התמונה הדיגיטלית • קיימות שתי בעיות בניסיון ליישום ספרתי…. • התמונה מוגדרת מעל כל נקודה (x,y) ממשיים בתחום ההגדרה • בכל נקודה מקבלת הפונקציה ערך ממשי באינטרוול [0,1] • נדרשות אינסוף סיביות לייצוג המרחב • נדרשות אינסוף סיביות לייצוג הפונקציה דב מלונק

28. רעש תמונה מושגי יסוד בדגימה וקוונטיזציה • דגימה של הקואורדינטות - מיקום הדגימה נקבע ע"י מיקום החיישנים. • כאשר יש חיישן בודד ניתן לשלוט על מיקום וכמות הדגימות בשני הצירים. מוגבל רק ע"י ביצועי האופטיקה. • כאשר יש חיישן רצועה כמות הדגימות בציר אחד נקבעת ע"י המרווח הפיזי בין החיישנים ובציר השני ע"י ביצועי האופטיקה. • בחיישן דו-ממדי מיקום הדגימות קבוע ע"י המרווח הפיזי בין החיישנים. קוונטיזציה של העוצמה שמונה רמות בדוגמא

29. תוצר של דגימה וקוונטיזציה גודל סריג הדגימה וכמות רמות האפור קובעות, במידה רבה, את איכות התמונה

30. ייצוג תמונה דיגיטלית • תוצאת הדגימה והקוונטיזציה היא מטריצת של מספרים שלמים. • נניח שהתמונה f(x,y) נדגמה לתמונה בעלת M שורות ו N עמודות . • ערכי הקואורדינטות (x,y) הם כעת ערכים דיסקרטיים • שימוש בערכים שלמים (Integer) לייצוג הקואורדינטות. • ערכי קואורדינטות הראשית נקבעת ל (x,y)=(0,0) • ערך הקואורדינטה הבאה לאורך השורה הוא (x,y)=(0,1)

31. ייצוג תמונה דיגיטלית • ייצוג המטריצה הוא אם כן • כל אלמנט נקרא pixel, pel, picture element, image element • ייצוג המטריצה ניתן גם בצורה סטנדרטית כאשר aij = f(x=i,y=j) = f(i,j)

32. ייצוג תמונה דיגיטלית בצורה פורמלית: • Z קבוצת מספרים שלמים ו R קבוצת המספרים הממשיים • תהליך הדגימה מחלק את מישור התמונה xy לסריג כאשר הקואורדינטה של מרכז כל תא הוא זוג איברים מהמרחב הקרטזי Z2 , שהוא אוסף כל הזוגות המסודרים (zi,zj). כאשר zi ו zj מספרים שלמים מ Z2. • פונקציה f(x,y) היא תמונה דיגיטלית אם (x,y) הם מספרים טבעיים מ Z2ו f משייכת ערכי רמות אפור (מספרים ממשיים מקבוצת המספרים הממשיים R ) לכל זוג קואורדינטות (x,y) . אם תהליך השיוך משתמש בערכים שלמים בלבד (Z) תהליך השיוך של ערכי אפור נקרא כימוי או קוונטיזציה • יש להגדיר עבור תהליך הדגימה את הגדלים M,N וכן את L(מספר רמות האפור של כל פיקסל)

33. ייצוג תמונה דיגיטלית • בדרך כלל L נקבע להיות מספר שלם שהוא חזקה של 2 L=2k • בדרך כלל ערכי רמות האפור מפוזרים אחיד והם מספרים שלמים בטווח [0,L-1]. • טווח הערכים שקיימים בתמונה נקרא טווח דינמי. • תמונה שמכילה ערכים שמכסים את מירב הטווח האפשרי נקראת תמונה בעלת טווח דינמי גדול ולהיפך תמונה שמכילה ערכים שמכסים רק חלק קטן מהטווח האפשרי היא בעלת טווח דינמי קטן • מספר הביטים b שנדרש לאיכסון תמונה נקבע ע"י וכאשר M=N

34. כמות זיכרון נדרשת לתמונות מקובלות דב מלונק

35. כושר הפרדה (רזולוציה) מרחבית • הפרדה מרחבית היא גודלו של הפרט הקטן ביותר שניתן להבחנה בתמונה. • רזולוציה מרחבית נקבעת בעיקר ע"י צפיפות הדגימה. • למדידת הפרדה משתמשים בתמונת קוים מחזוריים, אופקיים או אנכיים, בצפיפויות שונות. קוים מחזוריים אלו נקראים קווי הפרדה. קווי ההפרדה מאופיינים ע"י גודל W שהוא רוחבו של קו וגם רוחבו של המרווח בין קווים סמוכים. הגודל 2W הוא רוחב המחזור וקיימים 1/2W מחזורים ליחידת אורך • הגדרה מקובלת ליכולת הפרדה היא הצפיפות הגדולה ביותר של קווי הפרדה ליחידת אורת שניתנת לזיהוי - למשל 100 קוים למילימטר דב מלונק

36. כושר הפרדה (רזולוציה) מרחבית לפעמים מתייחסים להפרדה בעזרת כמות הפיקסלים שבתמונה - רזולוציה שלMxN פיקסלים דוגמא להשפעת כמות הפיקסלים על ההפרדה בתמונה כמות רמות האפור נשמרה קבועה - 256 דב מלונק

37. כושר הפרדה (רזולוציה) מרחבית לפעמים מתייחסים להפרדה בעזרת כמות הפיקסלים שבתמונה - רזולוציה של MxN פיקסלים התמונה הובאה לגודל זהה ע"י הכפלת שורות ועמודות דב מלונק

38. קיפול תדרים מרחביים - עיוותים בתמונה דוגמא - דפוסי מוארה נוצרים בגלל קצב דגימה לא מספק דב מלונק

39. קיפול תדרים מרחביים - עיוותים בתמונה דוגמא דב מלונק

40. שינוי גודל של תמונות דיגיטליות • הגדלת תמונה דגומה (zoom)נועד לייצר דגימות נוספות כך שסריג הדגימה הסופי יהיה צפוף יותר ויתן תחושה של רצף. תהליך זה נקרא אינטרפולציה. • התהליך מחייב שני צעדים - יצירת מקום לפיקסלים חדשים ושיוך ערכי אפור לאותם מקומות חדשים. דב מלונק

41. שינוי גודל של תמונות דיגיטליות דוגמא נגדיל תמונה שגודלה 512x512 שיטת Pixel replication. מתבצעת כאשר ההגדלה היא במספר שלם. למשל לצורך הגדלה פי 2 משכפלים כל עמודה ולאחר מכן כל שורה של התמונה המוגדלת. מייצר עיוותים לא רצויים שיטת nearest neighbor interpolation . נניח סריג שגודלו זהה לגודל התמונה אך מכיל תאים במספר הרצוי (למשל 750x750 תאים). גודל כל תא קטן יותר מגודל תא המקור. לכל תא משייכים את ערכו של הפיקסל הקרוב ביותר. בסיום השיוך מגדילים את התאים לגודל המקורי. דב מלונק

42. שינוי גודל של תמונות דיגיטליות דוגמא Pixel replication. דב מלונק

43. שינוי גודל של תמונות דיגיטליות שיטה נוספת היא bilinear interpolation דב מלונק

44. הגדלה והקטנה של תמונות דיגיטליות דוגמא דב מלונק

45. כושר הפרדה (רזולוציה) של רמות אפור • הפרדת רמות אפור היא גודלו של הפרש הבהירות הקטן ביותר שניתן להפרדה. • יכולת זו אינה פשוטה להגדרה ותלויה בתוכן התמונה ותנאי התאורה. • תלויה בביצועים של מערכת הראייה האנושית. • בדר"כ כמות רמות האפור שנקבעת לתמונה היא חזקה של 2. לרוב המספר הוא 8 , 12 או 16. דב מלונק

46. קוונטיזציה של העוצמה • נתונה תמונה דגומה f(x,y), ערכי הדגימות הם ממשיים בטווח [0,1]. • מוצע להשתמש ב b סיביות לייצוג כל הערכים הממשיים ( b קבוע מראש וערכיו בתחום 1-16 ) • כיצד ממירים את הערכים הרציפים לדיסקרטיים - נדרשים לבחור 2b רמות ייצוג שונות. • קיצוץ של סיביות נמוכות - רמת האפור תיוצג ע"י סיביות גבוהות ביותר (MSB) • כאשר b=2 נקבל ש [0,0.25) ימופו ל 0, [0.25,0.5) ימופו לגובה 0.25 וכו'. • יתכנו רק 4 ערכים אפשריים - 0,0.25,0.5,0.75. • ערכי הכניסה נקראים רמות החלטה ולערכי המוצא רמות ייצוג דב מלונק

47. קוונטיזציה של העוצמה עבור b=3 נקבל את גרף הכימוי הבא דב מלונק

48. קוונטיזציה של העוצמה • קוונטיזטור מושלם הוא קוונטיזטור בעל מוצא זהה לכניסה - ללא שגיאה • שימוש במספר סופי של סיביות לא מאפשר מצב כזה • בקוונטיזטור נוכחי - רמת מוצא תמיד נמוכה מרמת מכניסה • שיפור הקוונטיזטור ע"י : • יגרום לגרף לנוע למעלה - מסביב לקו האלכסוני - ויקטין את השגיאה דב מלונק

49. קוונטיזציה של העוצמה • דוגמא לשימוש בקוונטיזטור המשופר דב מלונק

50. כושר הפרדה (רזולוציה) של רמות אפור דוגמא שינוי בכמות רמות האפור דב מלונק