本文提出了并行化技术,为图采样 GCN 提供卓越的可扩展性性能,在不妥协准确性的情况下,在非常大的图上实现了优秀的性能。具体地,我们保证了 GCN 的高效训练,并在计算和通信方面节约了数量级的开销,同时,我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。
Oct, 2018
本文提出了一种通信高效的邻居采样方法,用于分布式训练图卷积网络,并在节点分类基准测试中证明了该方法显著降低了通信开销,损失很少的准确性。
Jan, 2021
本文提出一种名为 FastGCN 的基于 Monte Carlo 方法的图卷积神经网络批量训练方案,实现了对于大型、密集图的高效训练和推理。实验证明该方案与 GCN 和相关模型相比,训练效率极大提高并且预测结果保持准确。
Jan, 2018
本文提出了一种自适应传播的图卷积网络(AP-GCN),通过节点自适应的通信步数和交换协议来平衡通信和精确度的关系,实现了优秀的图数据推断表现。
Feb, 2020
我们提出了一个统一的自适应连接采样框架,该框架可以泛化现有的用于训练 GNN 的随机正则化方法,并消除深度 GNN 的过度平滑和过拟合趋势,并允许在 GNN 图分析任务中具有不确定性的学习。将自适应连接采样与 GNN 模型参数以全局和局部方式联合训练,证明了使用自适应连接采样自适应性地学习给定图形训练数据的采样率是提高 GNN 性能的关键。
Jun, 2020
本文针对训练大型图(large graph)时计算量和内存消耗高的问题,提出了一种新的采样算法(LADIES),相比于已有采样算法在时间和内存成本上有更好的表现,并且由于其随机性,具有比原始 full-batch GCN 更好的泛化精度。
Nov, 2019
GraphSAINT 是一种基于图采样的归纳学习方法,通过采样训练图形而不是节点或边来构建小批量,以提高训练效率和准确性;在五个大图上表现出优越的性能,实现了 PPI(0.995)和 Reddit(0.970)的新的最先进的 F1 分数。
Jul, 2019
本文提出了一种将采样方差优化视为对手赌博问题,以加速图卷积网络和图注意力网络等图神经网络的训练的方法,并在多个数据集上展示了其有效性和高效性。
通过消除 GCN 中的不必要的非线性和权重矩阵,我们提出了一种线性模型,它对应于一个固定的低通滤波器,然后是一个线性分类器。 在许多下游应用中,我们的实验评估表明这种简化并不会对精度产生负面影响。 此外,由于我们的模型简化减少了计算量,因此我们的模型在更大的数据集上具有可扩展性,并且具有更快的推理速度。
Feb, 2019
本研究提出了一种高效的图形卷积网络(GCN)训练框架 L-GCN,该框架通过在训练期间解耦功能聚合和功能转换,大大降低了时间和内存复杂度,并提出了 L²-GCN,用于每个层学习控制器,可以自动调整每个层的训练时期。实验表明,在不依赖于数据集大小的一致内存使用情况下,L-GCN 比现有技术快至少一个数量级,同时保持可比的预测性能。
Mar, 2020