1 / 59

Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About

Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About. 作者 ： Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell 讲解人：緱丹. 文章信息. 发表刊物： Proceedings of the IEEE 发表时间： 2006 引用次数： 34. First Author.

homer
Download Presentation

Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About 作者 ：Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell 讲解人：緱丹

  2. 文章信息 • 发表刊物：Proceedings of the IEEE • 发表时间：2006 • 引用次数：34

  3. First Author • Pawan Sinha：Associate Professor of Vision and Computational Neuroscience, Department of Brain and Cognitive Science, MIT • Education: • M.S., PhD. Dept. of Computer Sciences, MIT • B.S. degree, Dept. of Computer Sciences, IIT • publication：http://web.mit.edu/bcs/people/sinha.shtml

  4. First Author • Sinha lab homepage： http://web.mit.edu/bcs/sinha/home.html • Publication： • Role of learning in three-dimensional form perception, Nature, 1996, 引用次数60 • I think I know that face, Nature, 1996, 引用次数52 • Recognizing complex patterns, Nature, 2002, 引用次数26

  5. Second Author • Benjamin Balas: Post-Doctoral Research Fellow, Laboratories of Cognitive Neurosciences Children's Hospital Boston & Harvard Medical School • Education: • 2002-2007 PhD. Dept. of Brain and Cognitive Sciences, MIT (GPA: 5.0/5.0) • 1998-2002 S.B. Dept. of Brain and Cognitive Sciences, MIT (GPA: 4.9/5.0) • 个人主页：http://sites.google.com/site/benjaminbalas/Home/curriculum-vitae

  6. Third Author • Yuri Ostrovsky：PhD candidate in Vision and Computational Neuroscience, Department of Brain and Cognitive Sciences, MIT • 个人主页： http://web.mit.edu/~yostr/www/

  7. Fourth Author • Richard Russell: Post-Doctoral Research Fellow，Department of Psychology Harvard University • 个人主页： http://www.people.fas.harvard.edu/~rrussell/index.html

  8. 文章摘要 计算机视觉一个重要的目标是要制造出一个自动的人脸识别系统，使得它的性能可以与人类的能力媲美，甚至超越人类。为了达到这个目标，对于计算机视觉的研究者们而言，了解那些通过对人类识别能力的实验分析所得的关键结论非常重要。这些结论揭示了人类视觉系统的出色性能所依赖的机制，并为人工系统超越人类的能力提供了基础条件。在这篇文章中，我们

  9. 文章摘要 给出了我们所认为最基本的19个结论，以及它们对设计智能系统的影响。我们对每一个结论都进行了简短的陈述，并提供了适当的提示，以便人们对任意一个结论进行进一步的研究。

  10. Abstract A key goal of computer vision researchers is to create automated face recognition systems that can equal, and eventually surpass, human performance. To this end, it is imperative that computational researchers know of the key findings from experimental studies of face recognition by humans. These findings provide insights into the nature of cues that the human visual system relies upon for Achieving its cues that the human visual system relies upon for achieving its impressive performance

  11. Abstract and serve as the building blocks for efforts to artificially emulate these abilities. In this paper, we present what we believe are 19 basic results, with implications for the design of computational systems. Each result is described briefly and appropriate pointers are provided to permit an in-depth study of any particular result.

  12. 提纲 • Motivation • 19 results • Discussion

  13. Motivation • 我们希望计算机智能系统能赶上并超过人类能力。只有了解人类认知的工作机理，我们才能做的更好。 • 知己知彼，百战不殆

  14. 提纲 • Motivation • 19 results • Discussion

  15. 19 results • Recognition as a function of available spatial resolution 1~3 • The nature of processing: Piecemeal versus holistic 4~5 • The nature of cues used: Pigmentation, shape and motion 7~14 • Developmental progression 15~16 • Neural underpinnings 17~19

  16. 1/19 • 结论1 即使在很低的分辨率下，人类依然能够认出熟悉的面孔。 • 实验数据： 19×27 pixels 最好识别率 16×16 blocks 高识别率 7×10 pixels >50% • 推论：好的人脸识别率并不需要精细的面部细节

  17. 1/19 人物依次为: Michael Jordan, Woody Allen, Goldie Hawn, Bill Clinton, Tom Hanks, Saddam Hussein, Elvis Presley, Jay Leno, Dustin Hoffman, Prince Charles ,Cher, Richard Nixon

  18. 2/19 • 结论2 抵抗退化图片的能力随着熟悉度的降低而降低 • 实验： • 人类对低质量监控录像的识别率与对识别对象的熟悉程度有关 • 相比身体结构和步态信息，面部信息更重要 • 推论：以人类对熟悉人脸的识别能力作为基准来评估智能识别系统性能比较合适

  19. 2/19 在低分辨率监控录像中，对熟悉个体的识别，主要基于面部特征

  20. 3/19 • 结论3 只用图片中的高频信息（图像的边缘信息）并不能得到高的人脸识别率 • 实验：只包含轮廓信息的图片很难识别，识别率 47%（轮廓信息）VS. 90%(原始图像)

  21. 3/19 Jim Carry Kevin Costner

  22. 19 results • Recognition as a function of available spatial resolution 1~3 • The nature of processing: Piecemeal versus holistic 4~6 • The nature of cues used: Pigmentation, shape and motion 7~14 • Developmental progression 15~16 • Neural underpinnings 17~19

  23. 4/19 • 结论4 脸部特征是作为整体被进行处理的 • 实验： • 尽管对一个个体而言，某些时候，单独的某一个特征（eg. 眼睛）已足够识别该个体 • 各个特征间的几何关系以及脸部的其他区域，比特征信息更为重要 • 推论：全局信息很重要

  24. 4/19 合成的图像影响我们正确判断两个个体，因为它影响力我们利用全局信息来识别人脸

  25. 5/19 • 结论5 各种人脸特征中，眉毛对识别的作用最大 • 实验：按重要性递减的顺序 眉毛 眼睛 嘴巴 鼻子 • 原因分析： • 对表达感情很重要 • 在各种干扰因素的影响下，眉毛最稳定 • 变化最少

  26. 5/19 上排为 President Richard M.Nixon 下排为actorWinonaRyder

  27. 6/19 • 结论6 图像结构信息独立于高度和宽度维 • 实验：人类视觉系统并不严格依赖于眼间距离、嘴巴宽度等空间结构信息 • 推论：也许人类视觉系统有iso-dimension ratio编码的能力，来抵抗图像在宽度和高度维上的变化

  28. 6/19 我们可轻松辨认出这些变形的人脸

  29. 19 results • Recognition as a function of available spatial resolution 1~3 • The nature of processing: Piecemeal versus holistic 4~6 • The nature of cues used: Pigmentation, shape and motion 7~14 • Developmental progression 15~16 • Neural underpinnings 17~19

  30. 7/19 • 结论7 脸型(Face-Shape)是以稍微夸张的方式进行编码的 • 实验：对于脸型，或者脸型+pigmentation, 稍微偏离真实图像对人脸识别更有效。 • 推论：建立一个正态分布(norm-based)的人脸子空间或者会提高识别率

  31. 7/19 A 平均女性人脸 B 待识别人脸真实图像 C 合成的稍夸张的待识别人脸 相比图像B,图像C更容易被识别正确

  32. 8/19 • 结论8 长时间的看一张人脸会引起高程度的后效性 • 实验： • 人脸后效性对旋转和尺度具有鲁棒性 • 也许人类用不同的神经来处理不同的性别 • 推论：人类对人脸的感知能力是一个高度可塑的过程，对于周围的不同人脸，能自适应调整自己

  33. 8/19

  34. 9/19 • 结论9 pigmentation 信息至少和人脸的形状信息一样重要 • Pigmentation = surface appearance，与texture和color的区别？ • 推论：综合利用形状和pigmentation两种信息，智能系统能取得更好的效果

  35. 9/19 上排：不同形状的相同人脸， 中间：不同pigmentation的相同人脸 下排：形状、pigmentation均不同

  36. 10/19 • 结论10 当形状信息退化时，颜色信息起到很重要的重要 • 可能的原因： • 颜色提供一个区分不同个体的特异信息 • 颜色便于对低质量图像进行分析

  37. 10/19 a) 与使用光照信息（中图）相比，色调分布（右图）使得我们更易估计出人眼的形状和大小，左图为原始图像 b) 顺序与a）类似 c）被替换过色调的图像（左图），依然能很好的帮助人类进行识别

  38. 11/19 • 结论11 经反色转换过的图片（eg. 照片底片）极大的削弱了人脸识别性能 • 推论：pigmentation和阴影信息对人类识别人脸起到很大的作用

  39. 11/19 歌曲“we are the world”照片之反片

  40. 11/19 歌曲“we are the world”照片之原始图像

  41. 12/19 • 结论12 光照变化影响推广型(Illumination Changes Influence Generalization) • 实验： • 人类能对新的光照条件下出现的识别对像进行正确识别 • 人脸对光照变化的推广能力不是完美的

  42. 12/19 给实验对象看左图后，实验对象识别右图的准确率远远高于随机猜的概率

  43. 13/19 • 结论13 视角推广性(View-Generalization)似乎来源于时序关联性(Temporal Association) • 实验： • 时序关联性将同一个体不同的图像关联为一个有用的整体 • 将不同个体不同视角的图像进行时序关联将会对人脸识别起到迷惑作用

  44. 13/19 同一序列中混合不同个体的图片将会削弱人脸识别能力

  45. 14/19 • 结论14 脸部的运动似乎对随后的识别更有利 • 实验： • Rigid motion，例如通过将摄像机围绕一个不变的头部进行拍摄所得，对识别帮助很小 • nonrigid motion，即待识别对象有表情变化或者做说话动作，对识别有很大的帮助

  46. 14/19 将Lester的nonrigid 的运动加到Stefan的图像中，将导致把Stefan误认为Lester

  47. 19 results • Recognition as a function of available spatial resolution 1~3 • The nature of processing: Piecemeal versus holistic 4~6 • The nature of cues used: Pigmentation, shape and motion 7~14 • Developmental progression 15~16 • Neural underpinnings 17~19

  48. 15/19 • 结论15 视觉系统起始于一个初始的类人脸的模板 • 实验：左图比右图更能吸引初生婴儿的注意力 • 推论：类人脸模板可用于人脸检测中

  49. 15/19 新生儿更喜欢上部偏重(top-heaviness)的图形，即上排的图形

  50. 16/19 • 结论16 在人的儿童时期，视觉系统从基于局部进行识别逐渐过渡到基于整体。 • 实验：识别倒置图像和正常图像 • 随着年龄增长，识别正常图像的能力明显提高 • 同样条件下，识别倒置图像的能力几乎不变 • 推论：这是基于整体结构信息进行鲁棒人脸识别间接证据

More Related