Oct, 2021

关于训练图卷积网络深度的可证明优势

PDF
TL;DR本文针对图卷积网络（GCNs）在层数增多时表现下降的问题进行了研究，发现合理训练后更深的模型具有极高的训练准确性，但泛化能力较差。通过分析 GCNs 的泛化能力，本文提出了一种解耦结构，使得 GCNs 既能保留表达能力，又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。
graph convolutional networksover-smoothingtraining accuracygeneralization capabilitydecoupled structure
发现论文，激发创造
  • DeeperGCN：训练深度 GCN 所需的全部

    本文提出了一种名为 DeeperGCN 的新型 Graph Convolutional Networks，它有效地解决了深度较大的 GCNs 存在的梯度消失、过度平滑和过度拟合等问题，实现了对大规模图数据的成功且可靠的训练，并在 Open Graph Benchmark (OGB) 上进行的实验证明其在节点属性预测和图形属性预测的大规模图形学习任务中比现有技术有显著提高。

    Jun, 2020

  • 针对通用图卷积网络的光滑问题解决

    本研究分析了 GCN、GCN with bias、ResGCN 和 APPNP 模型的节点特征收敛过程，并提出了 DropEdge 来缓解过平滑问题，其在模拟数据和多个真实基准测试上均表现出显著性能提升。

    Aug, 2020

  • 图神经网络并非总是过度平滑

    本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。

    Jun, 2024

  • 半监督学习中图卷积网络的深入洞察

    本文研究机器学习领域的图半监督学习，提出了基于图卷积网络的深度学习方法，解决了图卷积网络机制不清晰及需要大量标注数据的问题，并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证，研究结果具有实际应用价值。

    Jan, 2018

  • 深度图卷积网络中过度平滑化的重新审视

    本论文提出了一种新的观点，即深度图卷积网络在训练过程中可以学习抗去平滑化的能力，并设计了一种简单却有效的技巧来改善 GCN 训练，同时在三个引用网络上验证了结论并提供了 GCN 邻域聚合方面的见解。

    Mar, 2020

  • DeepGCNs: GCN 能否像 CNN 一样深？

    本研究通过将 CNN 的残差连接和扩张卷积应用到 GCN 体系结构中，成功地解决了 GCN 中梯度消失的问题，构建了深层的 GCN，实现了更好的点云语义分割表现。

    Apr, 2019

  • 简化图卷积网络

    通过消除 GCN 中的不必要的非线性和权重矩阵，我们提出了一种线性模型，它对应于一个固定的低通滤波器，然后是一个线性分类器。 在许多下游应用中，我们的实验评估表明这种简化并不会对精度产生负面影响。 此外，由于我们的模型简化减少了计算量，因此我们的模型在更大的数据集上具有可扩展性，并且具有更快的推理速度。

    Feb, 2019

  • DeepGCNs: 让 GCNs 达到与 CNNs 相同的深度

    本篇论文介绍了如何将残差 / 稠密连接和扩张卷积等深度卷积神经网络中的概念应用于图卷积网络中，从而成功地训练出多达 112 层的深度图卷积网络，该方法在多个数据集和任务中展示出了非常良好的表现。

    Oct, 2019

  • 迈向更深的图神经网络

    本研究对图神经网络进行深入探究，提出了解决深度学习中过度平滑问题的新方法，并通过实验证明了其在引文、合著和共同购买等领域的卓越表现。

    Jul, 2020

  • 简单而深入的图卷积网络

    本研究提出了一种使用深度学习解决图像识别问题的方法 ——GCNII，并通过两种新技术 — 初始残差和身份映射 — 缓解了问题过度平滑的问题。实验结果表明深度 GCNII 模型在半监督和全监督任务中的性能优于现有方法。

    Jul, 2020