从因果视角调查图机器学习的分布外泛化
本文提出了一种名为 StableGNN 的基于因果关系的图神经网络框架,该框架从图数据中提取高级表示,并利用因果推断的区分能力帮助模型消除虚假相关性,具有良好的有效性、灵活性和解释性。
Nov, 2021
该研究提出了一种新的框架,Causality Inspired Invariant Graph LeArning (CIGA),通过使用因果模型来确定图表上的潜在分布偏移,从而捕获图表的不变性,以在各种分布偏移下保证OOD泛化性能。
Feb, 2022
本文研究了神经因果模型在零样本和小样本情况下的性能,并将其与单体模型和结构模型进行比较,其中预测变量的集合没有被限制为因果父节点。研究发现,相对于其他模型,因果神经模型在低数据量情况下具有更好的零样本和小样本适应性,并提供了稳健的泛化能力。此外,研究发现,比起更密集的图,对于更稀疏的图,这种效果更为显著。
Jun, 2022
本文提出了一种使用标签和环境因果独立(LECI)的方法,通过联合最大化标签和环境信息以解决之前方法中面临的识别因果和不变子图的挑战,并进一步开发了一种对抗训练策略来共同优化这两个特性,从而实现对因果子图的发现,该方法在合成和现实数据集上显著优于先前的方法,成为一种实用和有效的解决方案。
Jun, 2023
通过构建人工合成数据集和进行实验验证,本论文从因果学习的角度综合分析了各种图神经网络模型,在此基础上提出一种轻量且高度适应性的图神经网络模块,以增强其因果学习能力。
Dec, 2023
在这篇综述中,我们针对当前图神经网络(Graph Neural Networks,GNNs)的信任度问题,介绍了最近关于启发于因果关系的GNNs的研究,并提出了基于因果学习能力的Causality-Inspired GNNs(CIGNNs)的分类和典型方法,以及它们如何缓解信任度风险。我们还总结了有用的资源,并探讨了在这个新兴领域中的几个未来方向,希望能够为新的研究机会提供启示。
Dec, 2023
本文从因果关系的角度研究了图对比学习(Graph Contrastive Learning),发现传统的图对比学习由于含有非因果信息而不能很好地学习不变表示。为了解决这个问题并促使当前的图对比学习方法学习更好的不变表示,我们提出了一种新的图对比学习方法,通过引入谱图增强来模拟对非因果因素的干预,并设计了不变性目标和独立性目标来更好地捕捉因果因素。实验结果表明我们的方法在节点分类任务上的有效性。
Jan, 2024
通过因果关系分析揭示了图神经网络在节点分布迁移中一种存在于环境背景潜在混淆偏差,提出一种简明的、有原则性的方法通过因果推断来训练鲁棒的图神经网络,以抵消训练数据中的混淆偏差,并促进学习可泛化的预测关系。实验证明,该模型可以有效提高各类分布迁移情况下的泛化性能,在图的分布迁移基准测试中相比最先进方法最多提高27.4%的准确率。
Feb, 2024
在图神经网络的端到端图表示学习中,由于图数据中复杂的因果关系和规则使得模型准确捕捉真实数据关系变得困难。本文提出一种缓解策略,即将与图数据对应的规则或关系直接整合到模型中。然而,在图表示学习领域中,图数据的固有复杂性阻碍了建立一个包含整个数据集的普遍规则或关系的全面因果结构的推导。相反,只有专门的因果结构,揭示了约束子集内的特定因果关系。基于经验见解,我们观察到GNN模型在训练过程中收敛于这些专门的因果结构。因此,我们认为引入这些特定的因果结构有助于GNN模型的训练。在这一前提下,我们提出了一种新方法,使GNN模型能够从这些专门的因果结构中获得洞察力,从而提高整体性能。我们的方法特别从这些特定的因果结构的模型表示中提取因果知识,并引入交换干预来优化学习过程。理论分析证实了我们提出方法的有效性。此外,实证实验在不同数据集上一致地展示了显著的性能改进。
Jun, 2024