Jun, 2020

图卷积网络中性能退化的理解和解决

PDF
TL;DR本文研究了深度图卷积网络由于 TRANS 操作引起的性能下降问题，通过提出一种节点归一化技术（NodeNorm）有效地缓解了这一问题。
graph convolutional networkpropagation operationtransformation operationnode normalizationvariance
发现论文，激发创造
  • 关于训练图卷积网络深度的可证明优势

    本文针对图卷积网络（GCNs）在层数增多时表现下降的问题进行了研究，发现合理训练后更深的模型具有极高的训练准确性，但泛化能力较差。通过分析 GCNs 的泛化能力，本文提出了一种解耦结构，使得 GCNs 既能保留表达能力，又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。

    Oct, 2021

  • DeeperGCN：训练深度 GCN 所需的全部

    本文提出了一种名为 DeeperGCN 的新型 Graph Convolutional Networks，它有效地解决了深度较大的 GCNs 存在的梯度消失、过度平滑和过度拟合等问题，实现了对大规模图数据的成功且可靠的训练，并在 Open Graph Benchmark (OGB) 上进行的实验证明其在节点属性预测和图形属性预测的大规模图形学习任务中比现有技术有显著提高。

    Jun, 2020

  • 线性图卷积网络中扩散过程的解剖

    通过对连续图扩散的角度解剖了线性 GCNs 的特征传播步骤，分析了为什么线性 GCN 不能从更多的传播步骤中受益。随后，我们提出解耦的图卷积（DGC），分离终端时间和特征传播步骤，使其更灵活，能够利用非常多的特征传播步骤。实验表明，我们提出的 DGC 显著改善了线性 GCNs，并使它们能够与许多现代非线性 GCNs 的变体竞争。

    Feb, 2021

  • 自适应传播图卷积网络

    本文提出了一种自适应传播的图卷积网络（AP-GCN），通过节点自适应的通信步数和交换协议来平衡通信和精确度的关系，实现了优秀的图数据推断表现。

    Feb, 2020

  • 简化图卷积网络

    通过消除 GCN 中的不必要的非线性和权重矩阵，我们提出了一种线性模型，它对应于一个固定的低通滤波器，然后是一个线性分类器。 在许多下游应用中，我们的实验评估表明这种简化并不会对精度产生负面影响。 此外，由于我们的模型简化减少了计算量，因此我们的模型在更大的数据集上具有可扩展性，并且具有更快的推理速度。

    Feb, 2019

  • 可变形图卷积网络

    本篇论文提出了一种新型的图卷积神经网络 Deformable GCNs，它可以在多个潜在空间适应性地执行卷积操作，并捕获节点之间的短 / 长距离依赖关系，从而处理异构性，并在六个异质性图数据集中实现节点分类任务的最佳性能。

    Dec, 2021

  • 图卷积神经网络中的转移熵

    基于 Transfer Entropy 的策略可解决 Graph Convolutional Networks 中的过度平滑和节点关系属性的利用两个重要挑战，并通过使用异质性和度信息作为节点选择机制以及基于特征的 Transfer Entropy 计算来提高 GCN 模型的分类准确率，但需要考虑计算复杂度。

    Jun, 2024

  • 图神经网络并非总是过度平滑

    本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。

    Jun, 2024

  • 从优化角度重新审视半监督节点分类中的图卷积网络

    本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题，并引入了两个衡量节点级任务上过度平滑的度量标准，提出了一种新的卷积核 GCN+，并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。

    Sep, 2020

  • 图神经网络在节点分类方面逐渐失去表达能力

    对图神经网络进行研究，通过看其在无穷大层神经元的情况下的渐进行为，探讨了 GCNs 的表达能力，发现 GCNs 的表达能力与其底层图的拓扑信息相关，提供了一种基于权值归一化的方法，增强了真实数据下 GCNs 的性能。

    May, 2019