基于损失感知的异构图神经网络课程学习
在处理异构信息网络方面,异构图神经网络(HGNN)通过课程学习策略和基于相对损失的训练进程趋势来提高学习效率与泛化能力,并通过采样策略解决训练不平衡问题。
May, 2024
本文提出了一种基于课程学习的图神经网络框架(GNN-CL),包含两个模块:基于图的过采样和同时调整特征空间中少数类节点间距离的图分类损失和度量学习损失,通过动态调整这两个模块的权重实现更好的泛化和判别能力。该框架在多个广泛使用的图数据集上进行评估,结果表明我们的模型始终优于现有最先进的方法。
Feb, 2022
本文介绍了一种新的框架,Blend&Grind-HGNN(BG-HGNN),该框架有效地解决了现有 HGNN 在处理不同关系类型复杂异构图时所面临的问题,其通过将不同关系融合到一个统一的特征空间中,在参数可管理的单一参数集的帮助下,得到了一个更高效、更有效地从异构图中学习的 HGNN 方法。实证研究表明,BG-HGNN 在参数效率(高达 28.96 倍)、训练吞吐量(高达 8.12 倍)和准确性(高达 1.07 倍)方面显著超过了现有的 HGNN。
Mar, 2024
图神经网络 (GNNs) 在逐步沿边传播和聚合消息来表示具有依赖性的数据方面取得了巨大的成功。然而,现实世界中的图中的边通常具有不同程度的难度,甚至有些边对下游任务来说是有噪声的。因此,现有的 GNNs 可能导致子优化的学习表示,因为它们通常会将图中的每条边都视为相等的。另一方面,课程学习 (Curriculum Learning, CL) 模仿了按照有意义的顺序学习数据样本的人类学习原则,在提高表示学习器的泛化能力和鲁棒性方面已被证明是有效的。然而,现有的 CL 策略是为独立数据样本设计的,不容易推广到处理数据依赖性。为了解决这些问题,我们提出了一种新颖的 CL 策略,根据训练状态下期望给出的边的难度逐步将更多的边纳入训练中,其中难度程度由边的表现良好程度来衡量。我们通过对九个合成数据集和九个现实世界数据集进行广泛实验证明了我们方法的优势。我们提出的方法的代码可在此链接获得:https://...
Oct, 2023
HGAttack 是针对异构图设计的首个灰盒逃避攻击方法,通过设计一种新颖的代理模型,利用梯度方法实现扰动生成,提高了生成攻击在目标 HGNN 上的可转移性并显著降低了内存成本。在三个数据集上的综合实验证实了 HGAttack 的有效性。
Jan, 2024
本文提出了一种使用自监督对比学习技术、适应性超图视图生成器以及改进的超图编码器的对比式超图神经网络(CHGNN),用于从已标记数据和未标记数据中学习,实验结果表明 CHGNN 在分类准确率方面优于 13 个竞争对手。
Mar, 2023
本文介绍了一种名为超曲线图元学习器(H-GRAM)的新方法,通过从节点的局部子图中学习可传递的归纳偏见和集合超曲线元梯度,实现在处理不相关子图的查询任务上进行更快的学习,并展示了其在多种挑战性的少样本设置中学习和传递信息的有效性,并且相较于传统的欧几里得方法,在大型图数据集上能够更好地提高性能。
Oct, 2023
本研究提出了一种名为 Grug 的新型梯度正则化方法,它可以在消息传递过程中对传播消息和节点特征生成的梯度都进行迭代正则化。Grug 提供了一个统一框架,可以集成图拓扑和节点特征,并基于此进行详细的理论分析它们的有效性。
May, 2023