Apr, 2024

关于分子图的 GNN 的可扩展性

PDF
TL;DR我们研究了图神经网络的扩展行为，发现其在深度、宽度、分子数量、标签数量以及训练数据多样性上的扩展规律，取得了 30.25% 的性能改善（参数扩展至 10 亿）和 28.98% 的性能改善（数据集扩展至八倍）。此外，我们在 38 个任务上展示了很好的微调扩展行为，优于之前的大型模型，为基础图神经网络在制药药物研发领域迈出了重要的一步。
发现论文，激发创造
  • 灵活表示多模块图神经网络以实现更好的泛化

    本文研究了图神经网络的可扩展性和推广性，并提出了灵活的 GNNs 框架，通过多种节点更新函数和内部循环优化，使网络能够灵活适应新图并在多项推理任务中提高泛化能力。

    Sep, 2022

  • 从局部结构到尺度泛化的图神经网络

    本文针对图形分布中局部结构与图形大小相关的情况，探讨了图神经网络在不同大小的图上的泛化能力，发现了一些针对小图很好但对大图表现不佳的全局最小值，提出了两种改善图形大小泛化能力的方法，其中包括一个自我监督学习任务，该任务能够提供在大图中出现的局部结构的有意义表示，并在多个数据集上改善了分类准确度。

    Oct, 2020

  • 动态图神经网络的高效扩展

    本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

    Sep, 2021

  • 大规模图训练的全面研究：基准测试和重新思考

    本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为 EnGCN 的新的集成训练方式。

    Oct, 2022

  • 探索图神经网络的泛化理解

    研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

    May, 2023

  • 使用循环图神经网络学习图算法

    针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。

    Dec, 2022

  • 可扩展无线电资源管理的图神经网络：架构设计与理论分析

    本篇论文提出通过使用图神经网络解决大规模射频资源管理问题，通过设计有效的神经网络结构和理论分析，证明了信息传递图神经网络不仅满足置换等变性，而且能够适用于大规模问题且效率高，进一步通过分布式优化算法分析了方法的性能和泛化性，提供解释性和理论保证。

    Jul, 2020

  • 可扩展的 Inception 图神经网络 (SIGN)

    本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

    Apr, 2020

  • 分布式图神经网络训练：综述

    这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

    Nov, 2022

  • 通过迭代同质图神经网络实现规模不变的图相关问题求解

    通过引入适应计算进程的学习终止机制和具有通用同态函数逼近器的同态转换层，从构造图论程序的角度出发，针对当前图神经网络在解决多个图分析问题时规模（图大小、图直径、边权重等）的泛化性不足问题提出了几种扩展方法，实验结果表明该方法在小规模图上训练，但是对于大规模图也具有很好的泛化性。

    Oct, 2020