从因果的角度重新思考图对比学习中的维度论证
本文提出了一种利用Graph Contrastive Learning无人工标注学习图形表示的新范式,并通过对一系列基准任务和各种领域的数据集进行广泛、可控的实验,研究不同的GCL组件之间的相互作用,得出了一套有效GCL的一般特性与实现技巧。
Sep, 2021
本研究利用自监督学习的方法,在图形学习中,通过数据生成学习可学习的连续先验,并利用信息最小化和信息瓶颈原则对学习的先验进行规范化,用于构建双层优化框架,并在小规模和大规模图表上展示了比同类方法更好的学习效果。
Jan, 2022
提出了一种新的发现不变因果解释的策略来构建固有可解释性的图神经网络,在合成数据集和实际数据集上的实验证明了该策略在图分类方面的可解释性和广义能力优于现有的基线模型。
Jan, 2022
提出了一种不需要数据增强的简单的图对比学习框架 SimGRACE,利用编码器扰动而不需要手动实验或昂贵的领域知识。此外,通过敌对训练 AT-SimGRACE,可以提高学习的鲁棒性并在一定程度上保持高效。
Feb, 2022
提出了一种新的无监督学习框架 RGCL,以图像实例判别的重点语义为目标,使用对抗的方式生成有机理的视图进行对比学习。在 MNIST-Superpixel 和 MUTAG 数据集上的实验结果表明,RGCL 具有较高的表现,有效地为后续任务的优化提供了强大的表示能力。
Jun, 2022
学习异质图的节点级表示对于欺诈者检测和蛋白质功能预测等各种应用至关重要。为了解决传统节点表示无法捕捉高阶图结构的问题,我们提出了一种新颖的多视图对比学习方法,通过在图上集成扩散滤波器,捕捉异质图中的结构等价性,发现传统节点表示中隐含的关系和相似性。我们的方法在合成和真实结构数据集上优于基准方法,在Cornell上比最佳基准方法提高了16.06%,在Texas上提高了3.27%,在Wisconsin上提高了8.04%。此外,我们的方法在近邻任务上始终表现出卓越的性能,证明了其在揭示结构信息和改进下游应用方面的有效性。
Aug, 2023
本文从因果关系的角度研究了图对比学习(Graph Contrastive Learning),发现传统的图对比学习由于含有非因果信息而不能很好地学习不变表示。为了解决这个问题并促使当前的图对比学习方法学习更好的不变表示,我们提出了一种新的图对比学习方法,通过引入谱图增强来模拟对非因果因素的干预,并设计了不变性目标和独立性目标来更好地捕捉因果因素。实验结果表明我们的方法在节点分类任务上的有效性。
Jan, 2024
我们的研究全面审视了自我监督学习方法的缺点,并提供了关于超参数选择和下游任务评估对图对比学习方法的影响的新观点。此外,我们引入了一个改进的评估框架,旨在更准确地评估图对比学习方法的有效性、一致性和整体能力。
Feb, 2024
在图神经网络的端到端图表示学习中,由于图数据中复杂的因果关系和规则使得模型准确捕捉真实数据关系变得困难。本文提出一种缓解策略,即将与图数据对应的规则或关系直接整合到模型中。然而,在图表示学习领域中,图数据的固有复杂性阻碍了建立一个包含整个数据集的普遍规则或关系的全面因果结构的推导。相反,只有专门的因果结构,揭示了约束子集内的特定因果关系。基于经验见解,我们观察到GNN模型在训练过程中收敛于这些专门的因果结构。因此,我们认为引入这些特定的因果结构有助于GNN模型的训练。在这一前提下,我们提出了一种新方法,使GNN模型能够从这些专门的因果结构中获得洞察力,从而提高整体性能。我们的方法特别从这些特定的因果结构的模型表示中提取因果知识,并引入交换干预来优化学习过程。理论分析证实了我们提出方法的有效性。此外,实证实验在不同数据集上一致地展示了显著的性能改进。
Jun, 2024