Paper Reading

1. Paper Reading Huajiejiang

2. 补充：Image search using attribute feedback • 思想：通过反馈缩小搜索范围 • 方法： • 1. 用户输入关键词初始化搜索集合（如无，随机） • 2. 令初始化的搜索集合，用得分函数 : 排序。（是通过1…t-1次累计反馈训练的）。 • 3.每次循环中，返回K个样本，其中 ， 得分函数是一个分类器， • 4.用户选择一个或多个样本进行反馈。 • 得分函数更新： • “I want images exhibiting less of attribute than ” • 更新的得分函数必须满足（全部属性m）： • 对F次反馈进行统计，满足所有约束的图片得分为F，对图片排序。

3. 补充：Attribute Pivots for Guiding Relevance Feedback in image search • 主要思想: • 方法： • 1. 建立相对属性分类器 • 2. 为每个属性建立二叉搜索树 • 采用属性中值作为分割节点，建立平衡二叉树 • 3. 预测每幅图片与目标的相关性 • 4. 选择下一个比较的对象 • 根据3计算的概率，选择信息增益最大的属性

4. Paper List • Well Begun Is Half Done:GeneratingHigh-Quality Seeds for Automatic Image Dataset Construction fromWeb • Improving Image-Sentence EmbeddingsUsing Large Weakly Annotated Photo Collections • Graph cuts

5. Well Begun Is Half Done: Generating High-Quality Seeds for Automatic Image Dataset Construction fromWeb • Yan Xia1, Xudong Cao2, FangWen2, and Jian Sun2 • 1. University of Science and Technology of China • 2. Microsoft Research Asia, Beijing, China • ECCV 2014

6. 主要思想 • 高质量的种子图像对图像库的反馈和精确度有很大影响 • 高质量种子的度量 • Seeds ratio:种子图像占爬取图像的比例 • Seeds precision: 种子图像中正例的比例 • 和一个概念相关的图像是聚集在一起的，异常值是分散的

7. 方法： • 1. 从网络中爬取图像 • 放松搜索的约束条件（形状，大小） • 自动扩充搜索关键词（瀑布，人工瀑布。。。） • 2. 生成种子图像 • 聚集程度高的是种子，分散的是outlier • 距离度量：rank-order distance • 密度得分 • 自适应阈值选择 • 3. 扩大图像库 • 循环训练： • 1. 种子图像作为正例，不相关参考集作为负例，训练分类器 • 2. 分类器应用到所有爬取的图像 • 3. 加入得分高的图像，去除得分低的图像 • 4. 循环 • 种子分割：一个概念包含多个模型，聚类。

8. Rank-order distance • 其中，表示其他图像到距离的排序 • 表示在中的位置 • 返回中的第K幅图像 • 两幅图像含有的共同近邻越多，两幅图像间的距离越小

9. 密度得分 • 密度度量（近邻数量） • 得分：

10. 阈值选择 • ：选取种子的平均密度 • ：种子内部相似性度量 • ：种子与非种子的相似性度量

11. Improving Image-Sentence Embeddings UsingLarge Weakly Annotated Photo Collections • Yunchao Gong1, LiweiWang2, Micah Hodosh2, Julia Hockenmaier2,and Svetlana Lazebnik2 • 1. University of North Carolina at Chapel Hill, USA • 2. University of Illinois at Urbana-Champaign, USA • ECCV2014

12. 主要思想 • 寻找两个映射，分别将图像特征和语句特征映射到相同的空间进行计算相似性（典型相关） • 通过成千上万的较弱的有噪声的标注图像，去提升小的完全标注的训练集

13. 图库，策略，特征 • 图库选择 • 完全标注的图库（Flickr30K）：31,783张图，每幅图5个句子 • 弱标注图库：Flickr1M，SBU1M • 评价标准 • 从5句描述中取第1句，3000张图对应3000个句子，用图检索句子（CCA），真实值出现在top k中，则认为成功。 • 特征选择 • Visual: CNN • Textual：BOW(tags, titles, and descriptions)

14. 监督图像-语句嵌入 • 寻找两个映射，分别将图像特征和语句特征映射到相同的空间进行计算相似性（典型相关） • Ridge Regression • Canonical Correlation Analysis • Normalized Canonical Correlation Analysis • Wsabie with SGD • …

15. 转换嵌入 • 将大量弱标注样本加入到较小的全标注样本中，学习一个性能较好的图像-句子嵌入模型

16. Graph cuts • 割（CUT）是网络中顶点的一个划分，它把网络中的所有顶点划分成两个顶点集合S和T，其中源点s∈S，汇点t∈T。记为CUT（S,T）。

17. 3 3 2 2 4 4 4 s 4 3 1 1 1 2 2 5 t 6 5 5 4 1 3 3 2 ◆ 割CUT（S,T）中所有正向割边的容量和称为割CUT（S,T）的容量。不同割的容量不同。 容量为：3+4=7

18. 3 3 2 2 4 4 4 s 4 3 1 1 1 2 2 5 t 6 5 5 4 1 3 3 2 网络流与割的关系： 网络流量：5 2 3 割的流量 1 4

19. 定理一： 如果f是网络中的一个流，CUT（S,T）是任意一个割，那么f的值等于正向割边的流量与负向割边的流量之差。 定理二： 在任何网络中，如果f是一个流，CUT（S,T）是一个割，且f的值等于割CUT（S,T）的容量，那么f是一个最大流，CUT（S,T）是一个最小割（容量最小的割）。 定理三：最大流最小割定量： 在任何的网络中，最大流的值等于最小割的容量。

20. 结论1： 最大流时，最小割cut（S，T）中，正向割边的流量=容量，逆向割边的流量为0。否则还可以增广。 结论2： 在最小割中cut（S，T）中： ① 源点s∈S。 ② 如果i∈S，结点j满足： 有弧<i,j>,并且c[I,j]>f[I,j] 或者有弧<j,i>并且f[j,i]>0, 那么j∈S。//否则不是最小割 即从s出发能找到的含有残留的点组成集合S。其余的点组成集合T。

21. 谢谢！