Sep, 2020

神经网络如何外推：从前馈到图神经网络

PDF
TL;DR研究使用梯度下降训练的神经网络如何外推，即他们在训练分布的支持外学习了什么。沿着这条线，作者发现了多层感知器和图神经网络的外推条件，并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。
neural networksgradient descentextrapolationfeedforward neural networksgraph neural networks
发现论文，激发创造
  • 图神经网络是内在良好的泛化器：通过建立 GNN 和 MLP 之间的联系进行深入探究

    本文通过引入中间模型 PMLP，揭示了 GNN 的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现 PMLP 表现与 GNN 相当，但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。

    Dec, 2022

  • 使用循环图神经网络学习图算法

    针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。

    Dec, 2022

  • 学习外推知识：跨领域几何关系联合推理下的少样本图外关系预测

    该论文介绍了一种名为 Graph Extrapolation Networks（GEN）的新型转导式元学习框架，通过该框架，可以在实现小样本图数据链接预测中超越其他同类方法。

    Jun, 2020

  • 图神经网络在不必要的情况下使用图

    图神经网络在图数据上学习的支配方法中，普遍存在过拟合图结构的现象，本研究通过对不同图分布进行分析，提出了一种理论解释和图编辑方法，以减轻图神经网络对应该被忽略的图结构的过拟合问题，并在多个基准测试中验证了该方法的有效性。

    Sep, 2023

  • 图神经网络输出几乎肯定是渐近常数

    图神经网络（GNN）是用于各种图学习任务的主要架构。我们通过研究 GNN 概率分类器在从某个随机图模型中抽取的较大图上应用时的预测如何演变来呈现 GNN 表达能力的新视角。我们展示了输出收敛为常函数的现象，这个常函数上界了这些分类器能够统一表达的内容。这种收敛现象适用于包括最先进模型在内的广泛类别的 GNN，其中包括均值聚合和图转换器中的基于注意力的机制。我们的结果适用于包括（稀疏的）Erdős-Rényi 模型和随机块模型在内的广泛类别的随机图模型。我们通过实证验证了这些发现，并观察到即使在相对较小的图上，收敛现象已经显现出来。

    Mar, 2024

  • 无图神经网络：通过蒸馏教老 MLPs 新技巧

    使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

    Oct, 2021

  • 探索图神经网络的泛化理解

    研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

    May, 2023

  • 开放世界特征外推：归纳图学习方法

    研究了新特征数据的开放世界特征外推问题，采用基于图表示和学习的新学习范式，自监督方法和带归纳性的学习方法授予模型外推能力并缓解特征级过度拟合，经过多项实验证明比 KNN 和局部聚合方法表现优异。

    Oct, 2021

  • 图神经网络与图增强型多层感知机比较

    本文比较了多层图神经网络和一种被称为图增强多层感知器的简化替代品之间的表现，其中后者首先通过图上的某些多跳算子增强节点特征，然后以节点方式应用 MLP；并证明了 GA-MLP 具备适当算子的情况下，能像 Weifeiler-Lehman（WL）测试一样，理论和数值上能够区分几乎所有非同构图，但是 GA-MLP 与 GNN 之间在表达能力方面的差距随着深度呈指数增长，并且 GA-MLP 不能计算属性步行的数量，表明 GA-MLP 受其操作符族的选择限制比拥有更高学习灵活性的 GNN 更为受限，这在社区检测实验中也得到了证明。

    Oct, 2020

  • 图神经网络从结构信息中可得证明的益处：视作特征学习角度

    本研究旨在通过研究梯度下降训练中神经网络中的特征学习理论中图卷积的作用，提供了两层图卷积网络与两层卷积神经网络之间的信号学习和噪声记忆的不同表征，发现图卷积显着增强了对手 CNN 的良性过拟合的范围，并且在梯度下降训练后， GNNs 和 MLPs 在特征学习和泛化能力方面存在重大差异，这一结论在我们的实证模拟中得到了进一步证实。

    Jun, 2023