Jul, 2022

SizeShiftReg: 一种用于提高图神经网络尺寸泛化能力的正则化方法

PDF
TL;DR本研究提出一种基于规则化策略的方法，能够在只有训练数据而没有测试数据的情况下，提高图神经网络在更大规模的图上的泛化能力，从而改善图分类的性能。实验结果表明，流行的 GNN 模型在我们的规则化策略下，在 50% 规模最小的图上进行训练，在 10% 规模最大的图上进行测试时，性能提高了达到 30%。
graph neural networksgraph classificationinductive biasregularization strategygeneralization capabilities
发现论文，激发创造
  • 解释和适应图形条件平移

    本文研究了图神经网络易受分布变化影响的原因，提出了一种基于条件转移的无监督领域自适应方法，并在合成及实际数据实验中表现出鲁棒性。

    Jun, 2023

  • 从局部结构到尺度泛化的图神经网络

    本文针对图形分布中局部结构与图形大小相关的情况，探讨了图神经网络在不同大小的图上的泛化能力，发现了一些针对小图很好但对大图表现不佳的全局最小值，提出了两种改善图形大小泛化能力的方法，其中包括一个自我监督学习任务，该任务能够提供在大图中出现的局部结构的有意义表示，并在多个数据集上改善了分类准确度。

    Oct, 2020

  • 图神经网络在生物数据上的规模通用性：来自谱视角的洞见和实践

    通过对生物数据的谱视角分析，发现在小图和大图之间存在一定程度的节点连接性分布差异，提出基于局部结构特征（即节点的局部接近中心度）指导学习过程的 SIA 策略可以提高 GNNs 在不同大小的图上的图分类性能。

    May, 2023

  • Shift-Robust GNNs: 克服局部图训练数据的局限性

    本文提出一种称为 Shift-Robust GNN（SR-GNN）的方法，用于解决在真实世界场景下，由于数据获取昂贵和天生偏见而导致的数据采样不均衡问题，SR-GNN 可以适应节点标签采集偏差和数据分布转移等差异，从而实现半监督学习任务中的更好泛化效果。在多个实验中，SR-GNN 在常见 GNN 基准数据集上的表现优于其他 GNN 基线，并成功消除了偏差训练数据引入的至少～40% 的负面影响。

    Aug, 2021

  • 通过解耦表示学习增强图神经网络中的大小概括能力

    提出了一种名为 DISGEN 的图神经网络 (GNN) 的模型非特定框架，旨在从图表示中消除大小信息，提高 GNN 的大小泛化能力，实证结果表明 DISGEN 在真实世界数据集上优于现有的模型。

    Jun, 2024

  • 通过图缩减扩展图神经网络规模

    本文提出了一种使用图粗化来实现可扩展 GNN 训练的不同方法，详细介绍了图粗化操作的影响和选择方法，并表明图粗化也可看作一种正则化手段。实证结果表明，简单地应用成熟的粗化方法，可以将节点数降低到原来的十分之一而不会导致分类精度的明显下降。

    Jun, 2021

  • 重新思考图神经网络的图正则化

    在图神经网络中，传统的图拉普拉斯正则化对现有 GNN 的性能提升不大，提出了一种名叫 P-reg 的图拉普拉斯正则化变体，可以有效增加信息熵，提升现有 GNN 模型在节点级和图级任务上的性能。

    Sep, 2020

  • 灵活表示多模块图神经网络以实现更好的泛化

    本文研究了图神经网络的可扩展性和推广性，并提出了灵活的 GNNs 框架，通过多种节点更新函数和内部循环优化，使网络能够灵活适应新图并在多项推理任务中提高泛化能力。

    Sep, 2022

  • 通过迭代同质图神经网络实现规模不变的图相关问题求解

    通过引入适应计算进程的学习终止机制和具有通用同态函数逼近器的同态转换层，从构造图论程序的角度出发，针对当前图神经网络在解决多个图分析问题时规模（图大小、图直径、边权重等）的泛化性不足问题提出了几种扩展方法，实验结果表明该方法在小规模图上训练，但是对于大规模图也具有很好的泛化性。

    Oct, 2020

  • 通过权重尺度不变正则化提高神经网络的泛化性能和鲁棒性

    该研究论文介绍了一种改进神经网络正则化器的方法，该正则化器不仅能对权重衰减，还能考虑权重尺度偏移对正则化的影响，有效地限制神经网络的内在范数，并优化了对抗强度以提高泛化性能。

    Aug, 2020