Dec, 2023

学习重新加权用于图神经网络

PDF
TL;DR本研究探讨了图神经网络在分布发生偏移的情况下的泛化能力问题，并提出了学习重加权以增强泛化能力的新方法 L2R-GNN，通过对图表示变量进行聚类和学习权重以去除不同类别之间的相关性，有效改善了图神经网络的泛化能力，并在各种图预测基准测试中取得了优异的性能。
graph neural networksgeneralization abilityout-of-distribution settingsgraph decorrelation methodl2r-gnn
发现论文，激发创造
  • OOD-GNN: 面向外分布的通用图神经网络

    本文提出了一种名为 OOD-GNN 的图神经网络，它通过使用利用随机傅里叶特征的非线性图表示装饰方法来消除图表示中相关和不相关部分之间的统计依赖关系，进而使其能够实现对训练图数据分布以外的新颖测试图数据的良好性能。经实验证明，该方法在两个合成和 12 个真实数据集上均远远优于现有的最优基准模型。

    Dec, 2021

  • 关于对非分布式图形泛化图形神经网络

    本文提出了一种名为 StableGNN 的基于因果关系的图神经网络框架，该框架从图数据中提取高级表示，并利用因果推断的区分能力帮助模型消除虚假相关性，具有良好的有效性、灵活性和解释性。

    Nov, 2021

  • 基于拓扑感知的图分布偏移动态重新加权

    采用拓扑感知动态重新加权（TAR）框架，通过在几何 Wasserstein 空间中的梯度流动态调整样本权重，以提供分布鲁棒性，从而增强图数据的域外泛化性能。

    Jun, 2024

  • 通过因果干预实现图形的超出分布泛化

    通过因果关系分析揭示了图神经网络在节点分布迁移中一种存在于环境背景潜在混淆偏差，提出一种简明的、有原则性的方法通过因果推断来训练鲁棒的图神经网络，以抵消训练数据中的混淆偏差，并促进学习可泛化的预测关系。实验证明，该模型可以有效提高各类分布迁移情况下的泛化性能，在图的分布迁移基准测试中相比最先进方法最多提高 27.4% 的准确率。

    Feb, 2024

  • Shift-Robust GNNs: 克服局部图训练数据的局限性

    本文提出一种称为 Shift-Robust GNN（SR-GNN）的方法，用于解决在真实世界场景下，由于数据获取昂贵和天生偏见而导致的数据采样不均衡问题，SR-GNN 可以适应节点标签采集偏差和数据分布转移等差异，从而实现半监督学习任务中的更好泛化效果。在多个实验中，SR-GNN 在常见 GNN 基准数据集上的表现优于其他 GNN 基线，并成功消除了偏差训练数据引入的至少～40% 的负面影响。

    Aug, 2021

  • 具有可控数据增强的图像领域外泛化

    Graph Neural Network 在解决图分类问题上表现出了极好的性能，然而，由于训练和测试数据的选择偏差，造成了分布差异的广泛存在。针对这个问题，我们提出了 OOD-GMixup 方法来联合调控度量空间中的训练分布，并且通过消除杂乱相关和生成虚拟样本来度量、控制分布偏差。实验结果表明，我们的方法在几个真实世界的图分类数据集上优于现有方法。

    Aug, 2023

  • 解决图神经网络中本地化训练数据的影响

    通过规范化方法，适应并改善模型在局部训练数据和整个图预测过程中的表现，提高图神经网络模型对非分布式数据的适应能力和泛化性能。

    Jul, 2023

  • 处理图上的分布偏移：一个不变性的视角

    本文提出了一种基于不变性学习和风险最小化的方法，实现图神经网络对于图结构数据上的越域通用性问题进行预测和预测不确定性的估计。

    Feb, 2022

  • 测试时间具备性能保证的分布偏移缓解

    本研究提出了一种名为 FR-GNN 的通用框架，用于进行特征重构，并在测试时间内将这些重构特征整合到 GNN 的消息传递机制中，从而有效降低分布转移并提高测试性能。

    Aug, 2023

  • 探究图神经网络的超范围泛化：一种架构视角

    对于图外分布问题（OOD），本研究从体系结构角度进行了全面调查，探讨了现代图神经网络的常见构建模块。通过广泛的实验，揭示了图的自注意机制和解耦体系结构对图 ODD 泛化的正面贡献，而线性分类层则会损害图 ODD 泛化能力。此外，我们基于这些发现开发了一种新的图神经网络模型 DGAT，它充分利用了图的自注意机制和解耦体系结构的稳健特性，并通过广泛的实验证明了我们模型在图 ODD 下的有效性，对各种训练策略都展现出了明显和一致的改进。

    Feb, 2024