Aug, 2024

不变图学习与信息瓶颈的结合用于分布外泛化

HTML
PDF
TL;DR本文针对图学习中分布外（OOD）泛化的主要挑战，提出了一种基于信息瓶颈理论的不变图学习框架（InfoIGL），旨在提取图的稳定特征并提高模型对未见分布的泛化能力。通过引入冗余过滤器和多层次对比学习，InfoIGL在不依赖不变性监督信号的情况下，显著提升了图分类任务的OOG泛化性能，实验结果显示该方法在合成和真实世界数据集上实现了最先进的性能。
发现论文，激发创造
  • 无需考虑大小的图表示方法，用于图分类和推断

    该研究探讨使用因果模型学习具有近似不变性的表示方法，并展示了这种方法对于培训/测试分布转移具有对抗性的图形分类中的好处。

    Mar, 2021

  • 关于对非分布式图形泛化图形神经网络

    本文提出了一种名为 StableGNN 的基于因果关系的图神经网络框架，该框架从图数据中提取高级表示，并利用因果推断的区分能力帮助模型消除虚假相关性，具有良好的有效性、灵活性和解释性。

    Nov, 2021

  • 处理图上的分布偏移: 一个不变性的视角

    本文提出了一种基于不变性学习和风险最小化的方法，实现图神经网络对于图结构数据上的越域通用性问题进行预测和预测不确定性的估计。

    Feb, 2022

  • 个体和结构图信息瓶颈与超出分布泛化

    本文提出了一种名为IS-GIB的统一框架，旨在处理在图模型应用中常见的OutOfDistribution和类间关系问题。通过Individual Graph Information Bottleneck（I-GIB）和Structural Graph Information Bottleneck（S-GIB）来解决这些问题，并通过最小化互信息来消除不相关的特征和同时保持类之间的关系。在节点和图级任务上进行的广泛实验表明，IS-GIB具有优越的泛化能力。

    Jun, 2023

  • MARIO: 提升图对比学习模型对OOD普适性的通用方法

    本研究通过提出一个名为MARIO的不受模型限制的方案来改善无监督图对比学习方法的异分布推广性，该方法介绍了信息瓶颈原则和不变性原则，并在广泛实验中表现出在异分布测试集上具有最先进性能，与现有方法相比在内分布测试集上维持了相当的性能。

    Jul, 2023

  • 使用亚图混合在图不变量学习中实现超越样本分布的泛化

    本文提出了一种基于不变和变体模式共混策略的新型图不变性学习方法，能够联合生成混合的多个环境并从混合图数据中捕捉不变模式，通过扩展性实验证明该方法在各种分布转移中显著优于现有方法。

    Dec, 2023

  • 探究图神经网络的超范围泛化：一种架构视角

    对于图外分布问题（OOD），本研究从体系结构角度进行了全面调查，探讨了现代图神经网络的常见构建模块。通过广泛的实验，揭示了图的自注意机制和解耦体系结构对图ODD泛化的正面贡献，而线性分类层则会损害图ODD泛化能力。此外，我们基于这些发现开发了一种新的图神经网络模型DGAT，它充分利用了图的自注意机制和解耦体系结构的稳健特性，并通过广泛的实验证明了我们模型在图ODD下的有效性，对各种训练策略都展现出了明显和一致的改进。

    Feb, 2024

  • 通过必要与充分性的概率统一图形溯源及离群分析

    提出了一种统一框架，利用必要性和充分性概率来提取不变的子图结构(PNSIS)，并采用集成方法利用虚假子图增强噪声数据的泛化性能，在图OOD问题上胜过现有技术，显示了在实际场景中的有效性。

    Feb, 2024

  • 通过因果干预实现图形的超出分布泛化

    通过因果关系分析揭示了图神经网络在节点分布迁移中一种存在于环境背景潜在混淆偏差，提出一种简明的、有原则性的方法通过因果推断来训练鲁棒的图神经网络，以抵消训练数据中的混淆偏差，并促进学习可泛化的预测关系。实验证明，该模型可以有效提高各类分布迁移情况下的泛化性能，在图的分布迁移基准测试中相比最先进方法最多提高27.4%的准确率。

    Feb, 2024

  • DIVE：子图分歧用于图形分布外泛化

    本研究解决了图形机器学习中的分布外（OOD）泛化问题，该领域面临源数据与目标数据分布之间的差异。本文提出DIVE方法，通过训练多个模型关注所有标签预测子图，并使用正则化器惩罚模型间提取子图的重叠，显著改善了现有方法，从而增强了图形机器学习的泛化能力。

    Aug, 2024