Jun, 2023

划分很重要：用于提升GNN性能的扁平极小值方法

HTML
PDF
TL;DR研究神经网络中的“平坦最小值”问题，确定并探讨适用于非独立同分布数据的方法，并在图神经网络上进行实验，发现使用“平坦最小值”方法可以提高GNN模型的性能超过2个百分点，并推荐实践中使用加权平均技术（EWA）的早期停止时，建议从业者使用权重平均技术，因为它们对超参数不太敏感，无需额外训练，并使原始模型保持不变。
发现论文，激发创造
  • 结合标签传播和简单模型胜过图神经网络

    通过实验证明，在许多标准的节点分类基准测试中，结合忽略图结构的浅层模型和利用标签结构相关性的两个简单的后处理步骤可以比GNN在性能上优秀或者与之匹配，同时仅需使用一小部分GNN的参数并拥有更快的运行时间。

    Oct, 2020

  • 图神经网络的优化：跳连和更深层的隐式加速

    本文研究GNN在梯度动力学方面的优化性质，并证明了在某些情况下，通过跳跃连接、更深或更好的标签分布可以提高训练速度和最终结果的优化，因此建议在实践中使用具有跳跃连接的深度GNN。

    May, 2021

  • 训练更深层次图神经网络的技巧：一项综合基准研究

    本研究提供了第一个公平、可重复的基准测试，重点研究了训练深度图神经网络中的技巧，并利用该测试在数十个代表性图数据集上进行了全面评估，证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度GNN在大型数据集上的最新成果。

    Aug, 2021

  • 平坦极小值优化器何时有效？

    通过比较基于平坦极小点优化器的损失曲面和在计算机视觉、自然语言处理和图表示学习任务的广泛基准测试中，我们发现了一些令人惊讶的发现，希望这能帮助研究人员进一步改进深度学习优化器，并帮助实践者为其问题选择正确的优化器。

    Feb, 2022

  • SizeShiftReg: 一种用于提高图神经网络尺寸泛化能力的正则化方法

    本研究提出一种基于规则化策略的方法，能够在只有训练数据而没有测试数据的情况下，提高图神经网络在更大规模的图上的泛化能力，从而改善图分类的性能。实验结果表明，流行的 GNN 模型在我们的规则化策略下，在 50% 规模最小的图上进行训练，在 10% 规模最大的图上进行测试时，性能提高了达到 30%。

    Jul, 2022

  • Flip Initial Features: 一种基于稀疏特征的神经网络半监督节点分类的通用方法

    该论文提出一种简单而新颖的策略，通过同时翻转初始特征和超平面来创造额外的空间，以有效缓解图神经网络中的过拟合问题，并在真实世界数据集上进行了广泛实验，证明该技术将节点分类准确率提高了高达40.2％。

    Nov, 2022

  • 图标贴: 无中间通信的惊人简单并行GNN训练

    本文提出了一种基于数据的模型汤算法，通过将巨大的图数据分割成多个相对较弱的GNN，然后使用贪心插值汤过程组合它们的强度，从而改善GNN的扩展性能。在许多真实世界的小型和大型图上进行了广泛实验，结果表明该算法的有效性并且为GNN的扩展提供了一种有前途的正交方向。

    Jun, 2023

  • 分布式图神经网络训练的分区策略实验比较

    本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

    Aug, 2023

  • FlexiDrop：GNN中随机Dropout方法的理论洞见和实际进展

    基于图神经网络（GNN）的随机抛弃法的泛化误差优化方法FlexiDrop在实验中表现出比传统随机抛弃方法更好的性能。

    May, 2024

  • 图神经网络训练系统：全图与小批量的性能比较

    通过对全图训练和小批量训练系统的综合实证比较，我们发现小批量训练系统在多个数据集、GNN模型和系统配置下都比全图训练系统更快地收敛，速度提升在2.4倍至15.2倍之间。我们还发现两种训练技术在准确度上趋于相似，因此从时间达到准确度的角度比较两种类别的系统是合理的。

    Jun, 2024