Learning Discrete Structures for Graph Neural Networks

图网络领域论文系列读书会 Learning Discrete Structures for Graph Neural Networks • 报告人：张章 • 北京师范大学系统科学学院科研助理更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

基础信息 • 作者Luca Franceschi • 本篇文章是作者在图网络领域的第一篇文章作者介绍更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

论文背景 • 实际背景 • 使图网络算法应用到半网络或完全未知的网络中去更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

解决的科学问题是什么？ • 如何在不完整的（或网络结构完全未知的）网络上应用GraphNeuralNetwork，进而去做下游任务更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

解决的科学问题是什么？ • 如何在不完整的（或网络结构完全未知的）网络上应用GraphNeuralNetwork，进而去做下游任务 • 作者的表述是很广泛的，但实际作者只关注了GCN和节点分类问题更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

解决的科学问题是什么？ • 如何在不完整的（或网络结构完全未知的）网络上应用GraphNeuralNetwork，进而去做下游任务 • 作者的表述是很广泛的，但实际作者只关注了GCN和节点分类问题 • 关注点是解决分类问题，而不是把网络补全（与我们的工作的区别） • 网络补全是解决问题的途径，但作者并未在论文中展示补全的准确率更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

解决的科学问题是什么？ • 如何在不完整的（或网络结构完全未知的）网络上应用GraphNeuralNetwork，进而去做下游任务 • 作者的表述是很广泛的，但实际作者只关注了GCN和节点分类问题 • 关注点是解决分类问题，而不是把网络补全（与我们的工作的区别） • 网络补全是解决问题的途径，但作者并未在论文中展示补全的准确率 • 该问题解决成功后的意义 • 如果该问题成功解决了，会扩大GNN（尤其是GCN）在实际问题中的应用范围更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

解决问题的思路是什么？ • 解决问题的思路 • 先生成一个网络 • 然后再把GCN应用到这个生成的网络上做分类 • 通过优化使得生成的网络越来越接近实际网络，应用于这个网络的GCN也能更好地完成分类任务更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

背景知识 • GCN的工作原理 • Bileveloptimization问题的定义 • Hyperparameteroptimization问题的定义和求解思路更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

BilevelOptimization问题 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

BilevelOptimization问题 既然政府已经这么定价了我要怎样安排行程（走不走高速）才能最小化成本？ ——innerobjective 如何给高速公路定价才能最大化收益？ ——outerobjective 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

HyperparameterOptimization问题 • 什么是超参数 • 人为设置，不可学习 • Learningrate，隐含层层数等 • 超参数优化的方法 • grid search • random search • Bayesian Optimization • Gradient-basedhypergradientoptimization 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

算法工作流程 文章更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

算法工作流程 Val set Training set Test set 文章更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

算法工作流程 文章更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

网络生成器模块 • 输入：没有输入 • 内部参数：thetaij，表示ij两个节点之间有连边的概率 • 输出：一个采样的邻接矩阵 • 是BilevelOptimization框架中的outerobjective 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

GCN模块 • 输入：采样得到的矩阵、节点特征 • 输出：每个节点的分类 • 是BilevelOptimization框架中的innerobjective 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

两个模块之间如何协作和优化 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

实验 • 论文介绍了三个实验 • 试验1： • 为了评估LDS再半网络上的节点分类问题的表现 • 做法：不全的网络上进行节点分类 • 试验2： • 为了验证假设：LDS再完全无网络情况下也能表现很好 • 做法：无网络情况下进行节点分类 • 试验3： • 为了搞明白，是什么让LDS有能力学到有意义的连边分布 • 做法：分别观察LDS针对不同类型的节点的平均链接概率更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

对比模型 • 连边部分缺失 • GCN-RND：在GCN的每一轮优化都加入随机连边 • 连边完全缺失 • Sparse-GNC：建立稀疏的ER随机图+GCN • Dense-GCN：任何两个节点之间都等可能的存在连边+GCN • RBF-GCN：就是使用RBF核函数处理输入特征+GCN • kNN-GCN：kNN就是把每个节点和特征最相似的k各节点连接起来建网+GCN • kNN-LDS：如上建网方法+GCN，但建立的网络可以被LDS逐步调整 • kNN-LDS(d)：稠密版本的kNN-LDS 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

实验数据 • FMA：音乐节目和提取的特征（无网络）更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

实验结果 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

讨论：实验结果 • 实验结果的延伸讨论： • 对连边恢复率的展示 • 对比指标的选择更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

讨论：启发 • 启发： • 超参数优化方法可以用于我们自己的工作 • 不只是节点演化系统系统，分类问题也可以做重构 • 用训练集训练动力学，用验证集训练网络生成器的想法可以借鉴 • 分类问题背后都有网络支撑，合理的增加网络可以提升普通分类问题的精确度更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

讨论：引导作用 • 引导作用 • 去探索超梯度优化，是否是一种新的优化方法更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

未来方向 • 可以谈一谈，你希望未来对哪些问题进行进一步的延伸讨论更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

文献（资源）列表（1～5页） • 论文涉及的数据从哪里可以获得 • Wine、Breast、Cancer、Digits 、20 Newsgroup are available in scikit-learn • 作者的相关论文从哪里可以获得 • Google Scholar • 理解该篇论文所需要的前置知识从哪里可以获得（例如教程、论文、在线课程等） • https://www.youtube.com/watch?v=ttE0F7fghfk • https://en.wikipedia.org/wiki/Bilevel_optimization • 继续延伸需要看哪些材料 • Gradient-based Hyperparameter Optimization through Reversible Learning 更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

联系我们 • 公众号：集智AI学园 • 公众号：集智俱乐部 • 知乎号：集智学园集智AI学园公众号集智俱乐部公众号更多“人工智能 & 复杂系统”的知识，请关注官网：campus.swarma.org

Learning Discrete Structures for Graph Neural Networks