Nov, 2019

用于训练深而大的图卷积网络的层依赖重要性采样

PDF
TL;DR本文针对训练大型图（large graph）时计算量和内存消耗高的问题，提出了一种新的采样算法（LADIES），相比于已有采样算法在时间和内存成本上有更好的表现，并且由于其随机性，具有比原始 full-batch GCN 更好的泛化精度。
发现论文，激发创造
  • FastGCN: 基于重要性采样的图卷积网络快速学习

    本文提出一种名为 FastGCN 的基于 Monte Carlo 方法的图卷积神经网络批量训练方案，实现了对于大型、密集图的高效训练和推理。实验证明该方案与 GCN 和相关模型相比，训练效率极大提高并且预测结果保持准确。

    Jan, 2018

  • 自适应采样快速图表示学习

    本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。

    Sep, 2018

  • 巨型图上混合 CPU-GPU 训练的全局邻居采样

    这篇论文提出了一种全局节点采样算法，名为 Global Neighborhood Sampling，以满足大规模复杂图的图神经网络训练需求，该算法能使混合 CPU-GPU 训练的高效训练成为可能，并通过实验展现了比传统邻居采样方法更加高效的结果。

    Jun, 2021

  • 面向分布式训练的图卷积网络通信高效采样

    本文提出了一种通信高效的邻居采样方法，用于分布式训练图卷积网络，并在节点分类基准测试中证明了该方法显著降低了通信开销，损失很少的准确性。

    Jan, 2021

  • GraphSAINT: 基于图随机抽样的归纳学习方法

    GraphSAINT 是一种基于图采样的归纳学习方法，通过采样训练图形而不是节点或边来构建小批量，以提高训练效率和准确性；在五个大图上表现出优越的性能，实现了 PPI（0.995）和 Reddit（0.970）的新的最先进的 F1 分数。

    Jul, 2019

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • 大规模可学习的图卷积网络

    通过使用可学习的图卷积层 (LGCL) 和子图训练方法，本论文解决了卷积神经网络在处理通用图像数据时的困难，提高了基于节点分类任务的准确率和效率。

    Aug, 2018

  • 面向推荐的兴趣感知消息传递 GCN

    该研究论文提出了一种新颖的基于 Interest-aware Message-Passing GCN 的推荐模型，通过在用户兴趣相似的子图中进行高阶图卷积操作，避免了过度平滑问题，其在三个基准数据集上的实验结果表明，该模型可以通过叠加更多的层次获得性能提升，并且在 GCN-based 推荐模型上显著优于现有的最佳模型。

    Feb, 2021

  • 半监督学习中图卷积网络的深入洞察

    本文研究机器学习领域的图半监督学习，提出了基于图卷积网络的深度学习方法，解决了图卷积网络机制不清晰及需要大量标注数据的问题，并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证，研究结果具有实际应用价值。

    Jan, 2018

  • L$^2$-GCN: 图卷积网络的层次和学习有效训练

    本研究提出了一种高效的图形卷积网络（GCN）训练框架 L-GCN，该框架通过在训练期间解耦功能聚合和功能转换，大大降低了时间和内存复杂度，并提出了 L²-GCN，用于每个层学习控制器，可以自动调整每个层的训练时期。实验表明，在不依赖于数据集大小的一致内存使用情况下，L-GCN 比现有技术快至少一个数量级，同时保持可比的预测性能。

    Mar, 2020