觀其眸子 人焉廋哉 -- 以追蹤眼球方法探索偏好行為背後的歷程 Open your mind through your eyes!

1. 觀其眸子 人焉廋哉--以追蹤眼球方法探索偏好行為背後的歷程Open your mind through your eyes! 報告人:Daren Da-Lun, Tang, Assistant Professor, Department of Mass Communication, CCU

2. Agenda • What is “saccadic” eye movement? • Physiological basis of eye movement • Characteristic of eye movement • How to trace eye movements? • Some technique • How to choose eye-tracking system? • Why we track eye movement? • Literature review • What does eye movements reflect? • Sharing with some interesting experimental results • Discussion

3. What is “saccadic” eye movement? • Physiological basis of eye movement • Characteristic of eye movement • How to trace eye movements? • Some technique • How to choose eye-tracking system? • Why we track eye movement? • What does eye movements reflect? • Sharing with some interesting experimental results • Discussion

4. What is “saccadic” eye movements?

5. “看圖” 與 “看文字” 的方式不同 • 閱讀文字有方向性, 平均凝視時間約為200-250ms, 視線跳躍幅度約2-4度, 有視覺(字形), 聽覺(字音), 與記憶(字義)的特化神經活動 • 瀏覽圖片無方向性,平均凝視時間約為250-300ms,視線跳躍幅度約4-6度, 有關於物體辨認的特化神經活動

6. Characteristics of eye-movement • Eye doesn’t move smoothly! It contains: • Fixation (gaze) • 大約佔90% • Saccade • 約佔10% • 運動距離大於0.2度以上, 速度達30-500度/s, 最高900度/s • 視覺系統會產生暫時關閉的效應 本實驗室在圖片的視覺搜尋作業中，所測得之凝視時間與跳躍幅度的分佈狀態。

7. Why the eye move? For the best acuity

8. Why the eye move? For the best sensitivity

9. Hering’s law vs. strabismus 簡單的雙眼內外直肌麻痺檢驗方式 比較雙眼與遮蔽其中一隻眼的狀況, 即可知道斜視眼 左圖右眼內斜視; 右圖是左眼內斜視 此檢驗方式稱為Hirschberg’s test

10. 何謂Hering’s law? 本實驗室以每4毫秒紀錄一筆視線位置的精度所觀察到之兩眼協同作水平運動的資料，顯示左〈紅色〉右〈黑色〉兩眼幾乎同步。橫軸表示時間，以毫秒為單位，縱軸表示水平位移座標，以像素〈pixels〉為單位。 本實驗室以每4毫秒紀錄一筆視線位置的精度所觀察到之兩眼協同作垂直運動的資料，顯示左〈紅色〉右〈黑色〉兩眼幾乎同步。橫軸表示時間，以毫秒為單位，縱軸表示垂直位移座標，以像素〈pixels〉為單位。

11. Smooth pursuit的展示 • 一般人可以做到的sinusoidal pursuit • 精神分裂症患者與其一等親之親戚皆無法做到 • 如圖所示

12. 本實驗室追蹤簡諧運動光點的實驗資料

13. 眼動神經機制 • 六條眼肌 • SC的角色: 反射式的控制 • Frontal eye field的角色: 有意識的控制

15. What is “saccadic” eye movement? • Physiological basis of eye movement • Characteristic of eye movement • How to trace eye movements? • Some technique • How to choose eye-tracking system? • Why we track eye movement? • What does eye movements reflect? • Sharing with some interesting experimental results • Discussion

16. The eye-tracker 50 years ago

17. How to trace eye movement?如何測量眼球運動? • Search coil (see right upper) • Invasive, but very precise • Purkinje image method • Remote sensor • ASL (right middle) • Head mounted • ASL 501 model (right lower figure) • SMI iView X (see next page) • EYELINK II model

18. SMI iView X HED system • 適合自由移動的眼球追蹤儀 • http://www.smi.de/iv/index.html • 參考SMI自製的影片1 • 參考SMI自製的影片2

19. What is Purkinje’s image? • 當光源進入眼球，光源在角膜前後方與水晶體前後方所反射出來的四組影像稱為Purkinje-images • 第一組Purkinje-image是光源反射在角膜前方與空氣接觸之表面；第四組是反射於水晶體與眼球內部的表面；第二與第三組因反射量太小，不易觀測到。所以利用第一及第四個Purkinje-image來偵測眼球運動的方向

20. Another common equipment

21. modern eye-tracker – 本實驗室設備圖 Display PC Eye Tracker Host PC 實驗儀器與環境設定實景

22. How to choose an eye-tracking system? • accuracy • Participant characteristic • Response mode • Freedom of movement • Comfort / set-up time / portability • cost • software

23. Fixation picker or saccade picker? • Saccadic duration is about 10-30ms • In order to pick up saccadic information, sampling rate must be larger than 200Hz

24. EYELINK II系統設置：安置頭盔（Headband） 安置頭盔需要不斷練習才能又準又快。頭盔不能太緊，最好從後往前戴，先栓緊前螺栓栓，後緊頂螺栓，抵住耳朵。 設置鏡頭時可以参照屏幕進行行，要求前桿與面部平行，頭鏡位於額中，眼鏡不檔視線。

25. 系統設置： 設置頭鏡（Head Camera） EyeLink正是利用屏幕四角固定的紅外線發射器作為坐標來保証視線 和屏幕中央垂直。屏幕的解析度為800×600，因此，數據也以此坐 標系標定視線位置。為避免噪音，一般会儘量避免實驗環境中特别 是被試後方的光源，眼鏡旁各附有兩個光源，可以满足給眼球供光 的需求。

26. 系統設置： 設置眼鏡（Eyes Camera）一看距離，二看高度，三看偏斜，四看中心，五看焦距。

27. Eye camera focus setting

28. 眼球追蹤實驗的注意事項 • 眼疾的影響 • Color blind • Strabismus – • 區分”優勢眼”與”懶惰眼”…. • 藥物與精神狀態與疾病的影響要排除 • 嗑藥, 熬夜, Schizophrenia, Depression, • Sleep disorder • 誤差的考量 • 有效測量直徑0.5度視角

29. EYELINK II儀器的注意事項 • 實驗情境的設定 • Host PC的physical.ini 設定 • marker_phys_coords = -180,120, -180,-120, 這分別表示四個紅外線標籤與螢幕中心的距離(單位為mm)，亦即左上為(-180,120)，右下為(180,-120)。 • Screen_phys_coords = -155.0, 115.0, 155.0, -115.0 這分別表示17吋螢幕的顯示中心與四個顯示邊界的距離(單位為mm)，亦即中心到左邊界為-155mm，到上邊界為115mm，到右邊界為155mm，到下邊界為-115mm。 • screen_pixel_coords = 0.0, 0.0, 640.0, 480.0 這分別表示該螢幕的顯示解析度。 • Host PC的parser.ini 設定 • Host PC的eyenet.ini 為網路連線設定檔 • Host PC的eyelink2.ini 為主設定檔 • Host PC的buttons.ini 是外接按鈕設定檔 • 頭盔的佩帶:建議帶上西瓜皮帽之後再帶頭盔,讓後端的cable吊掛或綁在腰際

30. How to analyze eye position data? • Eye movement data is tedious to analyze, and includes a great deal of noise! • Current methods • Time series analysis • Cluster analysis • Probability analysis • String analysis

31. What is “saccadic” eye movement? • Physiological basis of eye movement • Characteristic of eye movement • How to trace eye movements? • Some technique • How to choose eye-tracking system? • Why we track eye movement? • Literature review • What does eye movements reflect? • Sharing with some interesting experimental results • Discussion

32. Gaze direction is probably the oldest means of communication at distance 左圖是猴眼 右圖是人眼, 人眼有白色鞏膜, 使得溝通意義大於猴子 你覺得左右哪一隻眼睛注視的方向 比較容易被辨認?

33. 觀看的方式因目的不同而不同(Yarbus, A.L., 1967)

34. History of eye-tracking research (Rayner,1998) • 草創的第一期(1879-1920): • 發現眼球運動的基本生理特徵 • 第二期(1930-1958): • 行為主義的應用議題 • 第三期(1970-1998): • 眼球追蹤技術精進時期 • 第四期(1998-current): • 展開互動應用的時期 • 甚至有人利用眼球運動方式來進行繪畫或音樂的創作 • http://www.arts.ac.uk/research/drawing_cognition/surgical.htm • http://www.eyetools.com/

35. 依據Duchowski(2002)的整理,當代眼球運動追蹤的研究議題分類依據Duchowski(2002)的整理,當代眼球運動追蹤的研究議題分類

36. Reward value of attractiveness and gaze--Kampe, et. al.,2001 • When eye gaze was directed at the subjects, activity in the ventral striatum correlated positively with attractiveness. • In contrast this correlation was reversed when eye gaze was averted.

37. Reward value of attractiveness and gaze--Nature,2001,413(11), 589 • Ventral striatum is associated with reward prediction(Schultz,1998). • Assuming that attractiveness constitudes a reward, especially when social interaction is initiated. • 被美人凝視就是一種reward, 同理, 不被醜人凝視也是一種reward, 所以ventral striatum都會被這兩種”reward”激發

38. 視線軌跡成為病理診斷的工具(Loughland, et. al.,2002,Biological Psychiatry,338-348) 65位精神分裂症病人 52位情緒障礙病人 61位正常人 在臉部情緒辨認作業中,每張臉只看10秒鐘,結果發現: 精神分裂症者對於人臉表情的觀察似乎相當”侷限”, 逃避看人臉的重要特徵,除了悲傷表情的臉是例外!

39. 視線軌跡成為病理診斷的工具(Loughland, et. al.,2002,Biological Psychiatry,338-348) 受試者同上,在臉部辨認作業中,每張臉只看10秒鐘,結果發現: 不管有無精神疾病,看模糊臉總是比看正常臉的視線停留時間還要短,視線跳躍也比較短!表示正常的臉刺激比較有意義,所以視線比較穩定! 精神分裂症者對於人臉表情的觀察似乎相當”侷限”, 逃避看人臉的重要特徵,但是看模糊的臉時,就沒有如此侷限的表現

40. Shimojo, S. et. al.,(2003,Nature)的發現

41. Shimojo的結果類似mere exposure effect • Shimojo 發現，當受試者要比較兩張人臉中，哪一張較具吸引力的時候，視線剛開始是均勻地分布在兩張人臉圖片上，但是隨著時間逐漸接近做出反應的前2秒鐘，視線分布開始逐漸偏到最後做出選擇的那一張圖片上，Shimojo等人把這個現象稱為「瀑布效應（cascade effect）」。 • Shimojo 進一步操弄刺激呈現時間，讓受試者一次僅能觀看一張人臉圖片300毫秒或900毫秒，如此重複兩張人臉圖片，以交替出現2次、6次或12次的方式觀看完畢之後，做出哪一張人臉較有吸引力的選擇反應。結果發現，在重複交替呈現6次與12次的情境下，看得越久的臉孔圖片被選為較具吸引力的機率顯著高於觀看時間較短的臉孔圖片， • 顯然凝視行為也對偏好決策的行為意識產生顯著影響。

42. 這張圖只呈現3秒鐘, 大多數人會看那兒?

43. what are reflected in eye-movements? • Physical characteristic • 物理刺激訊息越複雜, 視線停留越久 • Physiological characteristics • 大腦或神經系統不正常, 則視線軌跡與正常者迴異 • Psychological characteristics • 認知活動的策略不同, 則視線停留的位置與停留時間也不同 • 本草備要中就有「思今人每記憶往事，必閉目上瞪而思索之，此即凝神於腦之意也」的說法。 • Eye movements is a behavioral cue instead of a physiological measure! • It can both reflect and affect concurrent cognitive activities.

44. Communication topics relevant to eye- movement • Reading • Verbal communication, ex. readability • Kinesics • Non-verbal communication, ex. • Cognition • Media is the basis for building our knowledge about the world  cognitive approach to communication research • Eye movements may reveal cognitive model

45. Mental reality Real world Media information Behaviors & lives Cognitive approach to communication research-- relationship with eye-mind assumption

46. How can we gain valid and reliable knowledge of what is happening inside the mind? • Reaction time: • 反應時間越快表示認知活動越簡單 • Correction rate: • 越容易犯錯表示超過認知負荷 • Hesitations and pauses: • Survey: • Concurrent reports (thinking aloud): • Eye tracking technique: • 唯一可以不必中斷, 改變或減緩受測者之認知歷程的方法

47. Implication from eye tracking technique • 自然性意涵： • 如前所述, 這是最貼近自然狀態的心智量測技術 • 適當的實驗設計可能從眼球運動中區分出意識與潛意識的心智運作歷程 • 變項的獨特性意涵： • 一般問卷可以針對特定心理屬性的向度進行詢問,但是 眼球運動不行 • 視線軌跡同時反映心理特徵,也反映物理刺激的特徵, 此必須仰賴適當實驗操弄方能區隔 • 所有非語言溝通線索都存在的限制 • 歷程勝於結果的意涵： • 監控眼球運動不只是要知道心智運作結果, 也可以揭開隨時間改變的歷程, 意即監控眼球相當於隨時監控認知歷程 • 互動性意涵： • 眼球運動不只是依變項, 也可以當做獨變項操弄, 以觀察訊息傳播的效果

48. What is “saccadic” eye movement? • Physiological basis of eye movement • Characteristic of eye movement • How to trace eye movements? • Some technique • How to choose eye-tracking system? • Why we track eye movement? • What does eye movements reflect? • Sharing with some interesting experimental results • Discussion

49. 幾個有趣的眼動議題的實驗 • 圖片位置是否會影響文章閱讀的注意力分布? • 視線軌跡真的可以反映內在偏好? • 吾人真的可以用自由意識來決定視線停留的長久與否?

50. Recent study in our lab • Do people look at colors differently according to their color preferences? • Does eye movement reveal preference? • Does preference correlate with their purchasing behavior?