Aug, 2021

训练更深层次图神经网络的技巧：一项综合基准研究

PDF
TL;DR本研究提供了第一个公平、可重复的基准测试，重点研究了训练深度图神经网络中的技巧，并利用该测试在数十个代表性图数据集上进行了全面评估，证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度 GNN 在大型数据集上的最新成果。
发现论文，激发创造
  • 大规模图训练的全面研究：基准测试和重新思考

    本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为 EnGCN 的新的集成训练方式。

    Oct, 2022

  • 基于图神经网络的节点分类的增强方法

    本文概述了一系列现有的技巧，并提出了一些与标签使用、损失函数制定和模型设计相关的新技巧，以显著提高各种图神经网络 (GNN) 架构的性能。通过进行消融研究，我们经验性地评估了它们对最终节点分类精度的影响，并证明了它们的性能得到了不断改进，通常超过了底层 GNN 架构变化所带来的收益。值得注意的是，许多排名前列的模型从中受益，这是我们提出的一些技术。

    Mar, 2021

  • 图神经网络基准测试

    本文介绍了 Graph Neural Networks (GNNs) 领域关于基准测试框架的应用，通过该框架，可对模型进行比较，并且探索新的 GNN 设计和洞见，其中，图形位置编码 (PE) 是该基准测试框架中引入的重要设计之一。

    Mar, 2020

  • 使用 1000 层图神经网络进行训练

    本研究提出了可逆连接、分组卷积、权重绑定和平衡模型以提高图神经网络的内存和参数效率，并发现可逆连接结构与深层神经网络架构相结合，使得训练的过参数化 GNNs 在多个数据集上显著优于现有方法。

    Jun, 2021

  • 针对科学应用的图神经网络操作水平性能基准测试

    通过在 PyTorch Geometric 软件框架中实现科学计算所需的低级操作并在 NVIDIA A100 GPU 上进行基准测试，我们发现在专用硬件平台上具有关键作用的操作时限制内存效率的瓶颈而不仅仅是数据稀疏性，希望这些结果能成为此类操作的基准，并有助于未来的软件和硬件优化，从而实现可扩展的 GNN 性能的整体增强。

    Jul, 2022

  • 分布式图神经网络训练：综述

    这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

    Nov, 2022

  • 关于可信图神经网络的综合调查：隐私、鲁棒性、公正性和可解释性

    本文对图神经网络在隐私、鲁棒性、公平性和可解释性等计算方面进行了全面的调查，为不同方面的值得信任的 GNN 模型提供了发展框架和方法论。

    Apr, 2022

  • 节点分类任务中图神经网络公平比较的流程

    本研究设计了一套标准、可重复的基准测试设置，并使用多个小型和中型数据集以及 7 个不同模型对其进行评估，结果表明模型层数的增加并不总是能提高性能，结合节点 2vec 和拉普拉斯特征向量的数据增强技术可以有效提高分类任务表现。

    Dec, 2020

  • 图分类问题中图神经网络的公正比较

    本文探讨了机器学习中实验的可重复性和可复制性问题，并针对图形学习领域的常见做法、常见问题和常用方法进行概述，提供了五个流行模型的评估方法，并提出结构信息尚未得到充分利用的证据。

    Dec, 2019

  • Bregman 图神经网络

    本文提出了一种灵感来自 Bregman 距离概念的 GNNs 的新型双层优化框架，通过引入类似于 “跳跃连接” 的机制，有效地缓解了过度平滑问题，并证明了该方法在同质性和异质性图中优于原始 GNNs。实验证明，即使层数较高，Bregman GNNs 也能产生更稳健的学习精度，表明了该方法在缓解过度平滑问题方面的有效性。

    Sep, 2023