1 / 65

Paper Reading

Paper Reading. 讲解人：缑丹 报告日期： 2009 年 11 月 13 日. 文章列表. 精读 【 CVPR06 】 Recognize High Resolution Faces ： From Macrocosm to Microcosm. Dahua Lin ， Xiaoou Tang 速读 【 CVPR09 】 Recognition using Regions . Chunhui Gu, Joseph J. Lim, Pablo Arbeláez, Jitendra Malik. Paper #1.

salome
Download Presentation

Paper Reading

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. PaperReading 讲解人：缑丹 报告日期：2009年11月13日 缑丹

  2. 文章列表 • 精读 • 【CVPR06】RecognizeHighResolutionFaces：FromMacrocosmtoMicrocosm. • DahuaLin，XiaoouTang • 速读 • 【CVPR09】RecognitionusingRegions . • Chunhui Gu, Joseph J. Lim, Pablo Arbeláez, Jitendra Malik 缑丹

  3. Paper#1 标题： RecognizeHighResolutionFaces：FromMacrocosmtoMicrocosm 作者: DahuaLin，XiaoouTang 机构:TheChineseUniversityof HongKong 缑丹

  4. Abstract Introduceamultilayerframeworkforhighresolutionfacerecognition DiscriminativeMultiscaleTextonFeaturesandSIFT-ActivatedPictorialStructureareproposedtodescribeskinandsubtledetailsrespectively Designanmetricfusionalgorithmadaptivelyplacingemphasisontothehighlyconfidentlayers 缑丹

  5. Paper#1 提纲 • 文章概述 • 问题与思路 • 创新点与贡献 • 多层框架 • LayerModels • AdaptiveMetricFusion 缑丹

  6. 文章概述 • 问题：高分辨率人脸识别 • 思路：基于四个层次: • globalappearance • facialorgans • skins • irregulardetails 缑丹

  7. 文章概述 • 创新点和贡献 • 针对的问题是比较新颖的高分辨人脸识别 • 创新的利用人脸细节特征,包括皮肤纹理和不规则局部特征(irregulardetails),并提出针对它们的特征表示方法 • 提出一种更为灵活的结果融合方法 • 经过对各layer的性能进行评估,发现各层在识别中具有不同的重要性,对人脸识别有了新的认识 缑丹

  8. Paper#1 提纲 1 2 • 文章概述 • 问题与思路 • 创新点与贡献 • 多层框架 • LayerModels • GlobalAppearance • FacialOrgans • SkinTextures • IrregularDetails • AdaptiveMetricFusion 缑丹

  9. 多层框架 1. 1 2 1.2 1 1.3 1.4 缑丹

  10. 1 1. 1 GlobalAppearanceandFacialOrgans 1.2 • 特征表示 • Afixed-lengthvector • 方法:子空间方法 • MultilevelPCA用于降维 • RegularizedLDA用于分类 缑丹

  11. 1 1. 1 GlobalAppearanceandFacialOrgans 1.2 • MultilevelPCA • Firstpartitionthetargetarea into sub-regions • Then PCA models are trained and applied to these sub-regions respectively. • Finally, a high-level PCA is learned on the stacked vectors concatenating principal components for all sub-regions 缑丹

  12. 1 1. 1 GlobalAppearanceandFacialOrgans 1.2 转化为对 进行PCA变换，得 • RegularizedLDA • 问题: 奇异性的问题 • 改进：传统方法中：T=U 该方法T= • 本方法的优势: • 保留principalsubspace 和 complementsubspace • 该方法有统计学依据 缑丹

  13. 1 1. 1 GlobalAppearanceandFacialOrgans 1.2 R-LDA流程图 缑丹

  14. 1 SkinTextures 1.3 TextonBuilding • 描述子：texton • What’stexton？ • Howtogettexton？ • Howtousetextonfordiscriminantlearning？ • 框架流程 • Filtering：Gabor • DictionaryBuilding • DiscriminantLearning：R-LDA 缑丹

  15. 1 SkinTextures 1.3 Texton Skinregionsfiltersresponse 缑丹

  16. 1 SkinTextures 1.3 训练模型 缑丹

  17. 1 SkinTextures 1.3 用R-LDA变化得到用来分类的向量 缑丹

  18. 1 SkinTextures 1.3 测试模型 Whytransform？ 1skinappearanceisseriouslyaffectedbyilluminationchanges 2theskinsofdifferentpersonsaresimilar So：directlycomparingtexton-histogramyieldsavery poor accuracy 缑丹

  19. 1 SkinTextures 1.3 基于texton的分类过程 缑丹

  20. 1 SkinTextures 1.3 缑丹

  21. 1 IrregularDetails 1.4 • Irregular Details特性 • Specialarrangementconstitutesastrongdistinctionofaperson • The local details are insensitive to illumination change • 为避免噪声影响，强调以下条件 • Distinctiveness：speciallocalpattern • Stability：stablyoccurinnearly all images of a person, and can be repeatedly detected 缑丹

  22. 1 IrregularDetails 1.4 • 特征表示 • Localappearance:刻画各局部特征 若一幅图像有m个局部特征点，我们用一个大小可变的集合S来表示： 对于第l个特征点: 表示shape-freelocalappearance 表示positionofregioncenter 表示principalorientation 表示scaleoftheregion 缑丹

  23. 1 IrregularDetails 1.4 • 特征表示 • Spatial configuration :刻画各个irregulardetails之间的空间位置关系 缑丹

  24. 1 IrregularDetails 1.4 • 算法流程 • 检测并选择一系列满足条件的interestregions • Foreachperson，learnthepersonalmodels: ML • Matcha learned model M to a new image: The SIFT-Activated Pictorial Structure 缑丹

  25. 1 IrregularDetailsStep1 1.4 • 检测interestregions • Hessian-Laplacedetector,检测过程估计出每个interestregion的位置x,尺度s以及主方向θ • 对每个区域,用SIFT描述a,其中a是一个有128bins的直方图,刻画16个相对位置和8个相对方向的局部梯度分布 缑丹

  26. 1 IrregularDetailsStep1 1.4 缑丹

  27. 1 IrregularDetails Step2 1.4 • 模型学习 • Localappearance 假设各特征都满足正态分布,产生出概率模型 缑丹

  28. 1 IrregularDetails Step2 1.4 通过对训练样本估计得到 • 模型学习 • Localappearance: thecorrespondencebetween a face S and a personal model M 定义如下 缑丹

  29. 1 IrregularDetails Step2 1.4 表示第l个irregulardetail的regioncenter的位置 和公式中的两个均值为训练样本的估计值 • 模型学习 • Spatial configuration: 弹性图(elasticgraph),假设pairwisedistances服从高斯分布,对每对irregulardetail 缑丹

  30. 1 IrregularDetailsStep2 1.4 表示第k个人所对应的模型 表示第k个人的样本数目 表示第k个人的第j个人脸图像 • 模型学习 • MaximumLikelihood: 对于第k个人,最大化以下公式 缑丹

  31. 1 IrregularDetailsStep2 1.4 • 模型学习 • MaximumLikelihood: 问题转化为求能量最小化问题* 缑丹

  32. 1 IrregularDetailsStep2 1.4 缑丹

  33. 1 IrregularDetailsStep3 1.4 • 模型匹配: SIFT-Activated Pictorial Structure • PictorialStructures: ? • Local models of appearance with non-local geometric or spatial constraints • Image Patches describing color, texture, etc. • 2D spatial relations between pairs of patches • Simultaneous use of appearance and spatial information • Simple part models alone too non-distinctive 缑丹

  34. 1 IrregularDetailsStep3 1.4 • 模型匹配: SIFT-Activated Pictorial Structure • Improvement of Pictorial Structure • Pictorial Structure算法复杂度为 h表示每个区域可能的位置数目 改进：h 表示SIFT检测到的候选位置 • 设置阈值 若模型中的一个区域和input图像中检测到的所有区域的匹配能量都大于阈值，那么认为该区域无响应（nocorrespondence） 缑丹

  35. 1 IrregularDetailsStep3 1.4 参考文献： 1 Pedro F. Felzenszwalb, Daniel P.Huttenlocher Pictorial Structures for Object Recognition, IJCV2005 2M.A. Fischler and R.A. Elschlager. The representation and matching of pictorial structures. IEEE Transactions on Computer1973 缑丹

  36. 1 IrregularDetailsStep3 1.4 缑丹

  37. 2 AdaptiveMetricFusion • Assumption：样本分布为各向正态分布 • 融合公式 缑丹

  38. 2 AdaptiveMetricFusion • C(l)的定义 • Straighforwandway：= 第l层的平均正确率 • Adaptivefusion： • 实例 • 若样本在第k层到每个类的距离都相等，则熵为logC，c(l) = 0,若它明确属于某一类，则熵为0，c(l) = 1 缑丹

  39. Experiments • Database: • XM2VTS，size：720×576，对每个人，前两部分做训练，后两部分做测试 • HRDB，size：1024×768，对每个人，4幅图片做训练，另外4幅做测试 • 预处理 • Nomalized • irreguar-detaillayer用的图片为原图片去五官 • Global层用的图片为原图片下采样 缑丹

  40. Experiments 缑丹

  41. Experiments • Irregulardetailsmodels • XM2VTS, 38%的人有稳定的irregulardetails • HRDB，56%的人有稳定的irregulardetails • 在以上人所构成的子集中，用该模型的正确率分别为98.5%和99.2% 缑丹

  42. Experiments 融合的结果 缑丹

  43. Experiments • Combinations结论 • Allfacialorgans的combination正确率最高 • 皮肤模型的正确率可达60%,证明了皮肤纹理对于分类的有效性 • 各层的结果融合后，正确率分别可达99.0%和98.6% • Adaptivefusion机制优于其他机制 缑丹

  44. Comment • 解决的问题在当时很新颖 • 基于传统已有方法,对irregulardetails的提取,描述以及匹配 很有效 • 文章的思路很清晰,算法描述的很详尽 缑丹

  45. 文章列表 • 精读 • 【CVPR06】RecognizeHighResolutionFaces：FromMacrocosmtoMicrocosm. • DahuaLin，XiaoouTang • 速读 • 【CVPR09】RecognitionusingRegions . • Chunhui Gu, Joseph J. Lim, Pablo Arbeláez, Jitendra Malik 缑丹

  46. Paper#2 graduatestudent of EECS inUCB Professor of EECS inUCB Education: UniversityofCaliforniaatBerkeley2006—now CaliforniaInstituteofTechnology2003—2006 TsinghuaUniversity 2002—2003 标题： Recognition using Regions 作者:Chunhui Gu, Joseph J.Lim, Pablo Arbelaez, Jitendra Malik 机构: University of California at Berkeley 缑丹

  47. Abstract Presents a unified framework for object detection, segmentation, and classification using regions Producing a robust bag of overlaid regions for each image, each region is represented by a rich set of image cues, learn region weights using a max-margin framework In detection and segmentation, using Hough voting scheme and verification classifier and a constrained segmenter 缑丹

  48. 文章概述 问题：利用regions来进行识别 Focus：基于regions的识别问题的主要障碍是segmentationerrors，本文提出一种新的regionextraction和description的思路 缑丹

  49. OverviewoftheApproach Each image is represented by a bag of regions derived from a region tree Region weights are learned using a discriminative max-margin framework A generalized Hough voting scheme is applied to cast hypotheses of object locations, scales and support A refinement stage on these hypotheses which deals with detection and segmentation separately 缑丹

  50. Framework 1 2 3 Theuseofregion DiscriminativeWeightLearning DetectionandSegmentation 缑丹

More Related