基于最近邻的硬负样本训练时空图神经网络的鲁棒性训练
图神经网络(GNNs)用于链接预测,有两种广泛的分类。首先,以节点为基础的体系结构为每个节点预先计算个体嵌入,之后由简单的解码器组合以作出预测。与推理时的极高效性相比(因为节点嵌入只计算一次并重复使用),模型的表达能力有限,即对候选边贡献的同构节点可能无法区分,从而损害准确性。相反,基于边的方法依赖于形成特定于边的子图嵌入以丰富对配对关系的表示,以消除同构节点以提高准确性,但代价是增加模型复杂性。为了更好地权衡这种权衡,我们提出了一种新颖的 GNN 体系结构,其中 “前向传递” 显式依赖于正向(一般情况下)和负向(我们方法独有)边,以摄入更灵活但仍然廉价的以节点为基础的嵌入。通过将嵌入自身重新定义为正负样本分离的正向传递特定能量函数(与实际训练损失不同),所提出的体系结构在广泛的经验评估中得到了验证,既保持了以节点为基础的模型的推理速度,又产生了与基于边的替代方法竞争性的准确性。
Oct, 2023
本文探讨了知识图谱嵌入的关键问题,并提出了使用 Hardness and Structure-aware(HaSa)对抗性 KGE 算法与负样本分布来消除误分类三元组,从而在 WN18RR 和 FB15k-237 数据集上优于现有的 KGE 方法。
May, 2023
本文提出了一种通过学习明确控制标签噪声的框架(RTGNN),包括自我强化和一致性正则化,以实现对带有标签噪声和少量标签的图形神经网络的训练,并证明了其在各种噪声情况下相对于现有方法的优越性能。
Nov, 2022
最近发布的时间图基准被分析在动态链接属性预测的背景下,我们提出了一个简单的无优化基线,即 “最近流行节点”,在时间图基准的所有中型和大型数据集上优于其他方法。我们提出了两种基于 Wasserstein 距离的度量方式,可以量化数据集的短期和长期全局动态的强度。通过分析我们出乎意料的强基线,我们展示了标准的负采样评估对于具有强时间动态的数据集可能不适用。我们还展示了简单的负采样在训练过程中可能导致模型退化,导致无法排名的、完全饱和的预测结果。我们提出了改进的负采样方案,用于训练和评估,并证明了它们的有用性。我们与非对比训练的模型进行了比较,没有进行负采样。我们的结果提供了一个具有挑战性的基准,并表明时间图网络架构在具有重大全局动态的问题中,如社交媒体、加密货币市场或电子商务中,需要进行深入的思考。我们公开发表了基线、测量和提出的负采样方案的代码。
Sep, 2023
TASER 是第一个针对准确性、效率和可扩展性进行优化的适用于 TGNNs 的自适应采样方法,通过根据训练动态和过去交互的上下文、结构和时间属性进行微批次选择和邻居选择来提高准确性和训练速度。在五个广受欢迎的数据集上,TASER 的平均平均倒数排名(MRR)比对应的基线高出 2.3%,同时训练时间平均加快 5.1 倍。
Feb, 2024
本文提出了一种基于图神经网络的社交推荐模型 NeMo,使用生成式负采样策略并利用正负用户 - 物品交互推广用户兴趣,提高了推荐泛化能力和准确度。实验证明,在各种真实世界的基准数据集上(例如在 NDCG@15 方面高达 38.8%)NeMo 的性能优于现有方法。
Apr, 2023
本研究提出了 SelfGNN,它是一种基于对比自监督技术的图神经网络,采用批量标准化和四种图形特征增强技术来实现无监督学习。除了使用常用的图形拓扑增强技术(TA),实验证明我们提出的特征增强(FA)能够与 TA 同样好地发挥作用,而且没有计算开销。在七种公开数据集上的实验结果表明,SelfGNN 表现出较高水平的性能,与 SOTA 监督 GNN 性能相当,并且始终优于 SOTA 半监督和无监督 GNN。
Mar, 2021
本文提出通过选择训练集中已有的合法图形作为正例,结合基于特定领域相似度测量和分层图编码相似关系进行抽样的方法,解决了当前方法中正例缺失图信息甚至产生非法实例的问题,并且引入自适应节点级训练方法,提取五个关键词:图实例对比学习、图神经网络预训练、正例图实例、基于特定领域的成对相似度测量和自适应节点级预训练。
Jun, 2022