Download
1 / 28
290 likes | 477 Views
הטכניון - מכון טכנולוגי לישראל הפקולטה להנדסת חשמל מבצע: שביט שחר 027377993 מנחה : איל רגב בשיתוף עם : אלביט מערכות בע"מ. Eye Tracking. נושאים עיקריים במצגת. 1. תאור הפרויקט. 2. רקע תאורטי. מבנה העין. מאפייני העין. 3. מערכת עקיבה. רקע כללי. מבנה המערכת. 4. עיבוד תמונה.
E N D
הטכניון - מכון טכנולוגי לישראל הפקולטה להנדסת חשמל מבצע:שביט שחר 027377993 מנחה:איל רגב בשיתוף עם:אלביט מערכות בע"מ Eye Tracking
נושאים עיקריים במצגת 1. תאור הפרויקט 2. רקע תאורטי • מבנה העין • מאפייני העין 3. מערכת עקיבה • רקע כללי • מבנה המערכת 4. עיבוד תמונה 5. סיכום
תאור הפרויקט פרויקט זה עוסק במעקב אחר זווית ההסתכלות של העין. יכולת זו אמורה להשתלב במערכות ראש עבור טייסים. יכולת זו, בשילוב עם יכולת זיהוי מיקום הראש, תאפשר מדידה מדויקת של כיוון ההסתכלות (LOS - Line Of Sight) של הטייס ועל-ידי זה, הנחיה מדויקת יותר של מערכות הנשק במטוס. בפרויקט זה מתבצעת רכישת תמונה של העין. על התמונה הנרכשת מבוצעים עיבודים המפיקים תמונות אשר מבליטות מאפיינים ספציפיים בעין. על ידי ניתוח תמונות אלו ניתן לזהות את מיקומם של מאפיינים אלו בתמונה המקורית, ובעזרתם לקבוע את הכיוון שאליו מסתכלת העין.
רקעתאורטי • מבנה העין • קרנית (Cornea) • קשתית (Iris) • אישון (Pupil) • עדשה (Lens) • רשתית (Retina) • מקולה (Macula) • עצב הראיה (Optic Nerve) • ויטראוס (Vitreous)
רקעתאורטי המשך ... מאפייני העין רוב מערכות העקיבה אחרי תזוזת העין עוסקות בעקיבה אחר אחד או יותר ממאפייני העין או השתקפויות בה. העיקרון הבסיסי של רוב המערכות האופטיות לעקיבה אחרי העין: אם סימן כלשהו קבוע במרחב מסוים, אזי סיבוב של אותו מרחב סביב מרכזו יגרום לטרנזלציה (תזוזה מישורית) של סימן זה באופן יחסי לסינוס זווית הסיבוב. d = r sinq
רקעתאורטי המשך ... מאפייני העין בעיה: אם המרחב כולו מבצע טרנזלציה הסימן שאותו קבענו יזוז גם הוא באותה המידה פתרון: 1. מדידת בנפרד של הטרנסלציה של המרחב 2. זיהוי מיקומם של שני סימנים אשר מקובעים במרחב וממוקמים ברדיוסים שונים ממרכזו.
רקעתאורטי המשך ... • מאפייני העין • האישון • מרכז האישון תואם בקירוב את הציר האופטי של העין • קוטר האישון אינו קבוע אלא משתנה בהתאם לתאורה, עייפות, מצב רגשי ומשתנים אחרים. לכן יש צורך לזהות את מרכז האישון. • האישון קטן יחסית ולכן הוא נחסם פחות על ידי העפעף (מאשר מאפייני עין אחרים) • בדרך כלל קל יותר להשיג קונטרסט חזק בין האישון לקשתית
רקעתאורטי המשך ... • מאפייני העין • האישון • הרשתית גורמת להשתקפות האור. כל מקור אור שישתקף בחזרה דרך האישון יכוון ישירות אל המקור שלו. • בתנאים רגילים, האישון נראה שחור • אם הצופה (או גלאי כלשהו) יוכל להסתכל לאורך הציר האופטי של הקרן המאירה אז הוא יבחין באישון בהיר
רקעתאורטי המשך ... • מאפייני העין • האישון המשך... • בתנאים מסוימים יש קונטרסט טוב יותר בין אישון "בהיר" למאפיינים הסובבים אותו • ניסויים הראו שבדרך כלל ניתן ליצור תמונת אישון בהירה שניתן להבדיל בינה לבין סביבתה בקלות על ידי קריטריון של Threshold
רקעתאורטי המשך ... • מאפייני העין • ההחזר מהקרנית • ההחזר מהקרנית הוא השתקפות של מקור אור על החלק הקדמי של משטח הקרנית. • המיקום של ההחזר מהקרנית יהיה בערך באמצע הדרך בין משטח הקרנית לבין מרכז העקמומיות של הקרנית, לאורך הקרן שנמתחת בין המקור ודרך מרכז העקמומיות של הקרנית.
רקעתאורטי המשך ... • מאפייני העין • ההחזר מהקרנית המשך... • ההחזר מהקרנית נראה בדרך כלל בהיר יותר מכל החזר אחר וקל באופן יחסי, לאתר אותו. • ההחזר מהקרנית הוא סימן מדויק יותר מאשר מרכז האישון, בגלל שמיקומו אינו מושפע משינוים בקוטר האישון והוא אינו נחסם על ידי העפעף או גורמים אחרים בתחום רחב של תנועת העין
מערכת העקיבה רקע כללי עקיבה אחרי סמן בודד על העין לא מאפשרת הבחנה בין סיבוב של העין לבין טרנזלציה שלה. זוג סימנים שבו נעשה שימוש במערכת זו הוא האישון וההחזר מהקרנית בהנחה שהמקורקולימטיבי:
מערכת העקיבההמשך ... רקע כללי טכניקת העקיבה אחר האישון וההחזר מהקרנית ביחד יכולה לשמש ישירות לעקיבה אחר נקודת המבט, גם במקרה שהראש נע וזאת בתנאי שהגלאים והמקור המאיר וקובעים לראש או שמתקיימים התנאים הבאים: • המקור המאיר והגלאי רחוקים האדם בהשוואה למידת תנועת הראש • התמונה שבה צופים רחוקה מהאדם בהשוואה למידת תנועת הראש
מערכת העקיבההמשך ... רקע כללי
Display מחשבPC Frame Grabber מקור אור(Illuminator) מצלמה מערכת העקיבההמשך ... • מבנה המערכת • מערכת אלקטרו-אופטית • מערכת עיבוד התמונה • מערכת שליטה ובקרה
מערכת העקיבההמשך ... מבנה המערכת
עיבוד תמונה • עיבוד התמונה נעשה בשני שלבים: • בידוד מאפייני העין (Feature Extraction) • ניתוח התמונה (Blob Analysis)
העפעפיים האישון החזר מהקרנית תמונת מקור שליטה ובקרה דגימה דגימה דגימה קצב דגימה, ונתוני פונקצית הגרעין קצב דגימה, ונתוני פונקצית הגרעין קצב דגימה, ונתוני פונקצית הגרעין גרעין גרעין גרעין זיהוי האישון זיהוי ההחזר מהקרנית תמונה עם הדגשת העפעפיים תמונה עם הדגשת האישון ומיקום האישון המשוער תמונה עם הדגשת ההחזר מהקרנית ומיקום החזר משוער עיבוד תמונההמשך ... בידוד מאפייני העין (Feature Extraction) בידוד מאפייני העין בוצע פעולה של Pattern Recognition על התמונה,שלמעשההיתה קונבולוציה עם פונקצית גרעין (Kernel), התואמת את צורת המאפיין שאותו רצינו למצוא.
עיבוד תמונההמשך ... • בידוד מאפייני העין (Feature Extraction) • תמונה לדוגמא של העין , שעליה הורצו הגרעינים:
עיבוד תמונההמשך ... • בידוד מאפייני העין (Feature Extraction) • הגרעין עבור האישון ותמונה שבה מודגש האישון:
עיבוד תמונההמשך ... • בידוד מאפייני העין (Feature Extraction) • הגרעין עבור ההחזר מהקרנית ותמונה שבה מודגש ההחזר מהקרנית :
עיבוד תמונההמשך ... • בידוד מאפייני העין (Feature Extraction) • הגרעין עבור העפעפיים ותמונה שבה מודגשים העפעפיים :
עיבוד תמונההמשך ... • ניתוח התמונה (Blob Analysis) • Blobs הם אזורים של פיקסלים צמודים אשר נמצאים באותו מצב. • Blob Analysis מאפשר לזהות קשרים בין אזורים שלפיקסלים (Blobs) בתמונה. • לאחר מכן ניתן לחשב מאפיינים של אזורים אלו כמו שטח, מרכז כובד וכו'.
עיבוד תמונההמשך ... • ניתוח התמונה (Blob Analysis) • על תמונה שבה מובלט האישון, בוצע Blob Analysis ואחריו בוצעו הפעולות הבאות: • הועבר פילטר המשאיר Blobs שלהם שטח מאותו סדר גודל של שטח האישון. • לאחריו הועבר פילטר המשאיר רק Blobs שלהם רמת אפור הגבוהה מ- 200 • הועבר פילטר המשאיר Blobs שלהם צורה הקרובה למעגל • . כדי למצוא את הערך בפיקסלים של מרכז האישון, חושב מרכז הכובד של אותו Blob.
עיבוד תמונההמשך ... • ניתוח התמונה (Blob Analysis) • על תמונה שבה מובלט ההחזר מהקרנית, בוצעהבינריזציה על התמונה עם TreshHold של 250. על התמונה שהתקבלה בוצע Blob Analysis ואחריו בוצעו הפעולות הבאות: • הועבר פילטר המשאיר Blobs שלהם שטח מאותו סדר גודל של שטח ההחזרים מהקרנית. • לאחריו הועבר פילטר המשאיר Blobs שלהם צורה הקרובה למעגל. • בשלב הזה נלקח מיקום מרכז האישון (כפי שחושב על התמונה שבה מודגש האישון), וסביבו הוגדר מלבן המכסה את שטח האישון, שרק ה- Blobs שבתוכו רלוונטים לחישוב מיקום ההחזרים מהקרנית.
סיכום פרויקט זה עסק בעקיבה אחר זווית ההסתכלות של העין. לאחר שבוצעה רכישת תמונה של העין, בוצעו עליה עיבודים שונים. בעזרתקונבולוציה עם פונקציות הגרעין המתאימות, הופקה תמונה שבה מודגש האישון, הופקה תמונה שבה מודגשים ההחזרים מהקרנית והופקה תמונה שבה מודגשים העפעפיים. על ידי ניתוח תמונות אלו זוהו המיקומים של מאפייני העין הרלוונטים בתמונה המקורית (קרי אישון והחזרים מהקרנית). בעזרתם ניתן היה לקבוע את הכיוון שאליו מסתכלת העין.
סיכום המשך ... בפרויקט זה לא נלקחו מספר גורמים, אשר יש להתייחס אליהם בפרויקטים עתידיים: • קוטר האישון משתנה בהתאם לתאורה, עייפות, מצב רגשי ומשתנים אחרים. • צורת האישון מתעוותת כאשר העין נמצאת תחת עומס של G. • לא תמיד ניתן לראות בבירור את האישון וההחזרים מהקרנית, כמו למשל במקרים של מצמוץ או עין חצי סגורה.
