本文介绍了在图形数据上进行自监督学习的方法,并将其分为对比、生成和预测三种类型,同时对常用数据集、指标、算法进行了总结,并讨论了未来研究方向。
May, 2021
本文综述了基于自监督学习技术在图数据中的应用,提出了一个统一的数学框架,并将这些方法根据预文本任务的目标分为四类,并描述了在各个研究领域中的应用及所采用的数据集,评估基准,性能比较和开源图形 SSL 代码。
Feb, 2021
本论文介绍了自监督学习在图神经网络上的应用,将其方法分为对比模型和预测模型并提供统一的框架,在 SSL 方法和数据集上提供了概述和标准化的测试平台。
本文旨在探究无监督自我监督学习在图神经网络中的应用,通过多个实验任务深入理解 SSL 在 GNNs 中的表现,研究了该方法何时、为什么以及哪些策略下的效果最佳,提出了新的 SelfTask 方向来创建先进的预训练任务,并在各种真实世界数据集上实现了最先进的性能。
Jun, 2020
SE-HSSL 是一个基于超图的自我监督学习框架,通过两个无需采样的目标和一个基于层次关系的对比目标来解决超图自我监督学习模型中的负样本采样偏差和计算效率问题。实验证明,与现有方法相比,SE-HSSL 在有效性和效率上都具有优势。
Apr, 2024
自我监督学习已成为一种强大的技术,通过利用未标记数据中的嵌入信号而不依赖昂贵的注释标签来预训练深度学习模型。本文介绍了一种新的非对比自我监督学习方法,以显式生成组合关系图(ExGRG)来克服图结构数据的语义改变和反直觉性增强的挑战,并展示其在图表示学习中的优越性。
Feb, 2024
自监督学习在生成的潜在变量模型和对比方法的框架下,提出了一种能够改善性能、实现任务无关性表示的方法。
提出一种基于自我监督学习的图形表示学习框架 (Graph Barlow Twins),采用基于互相关的损失函数,不需要负样本,并且不依赖于非对称神经网络结构 (BGRL),能够在短时间内实现与最佳自我监督方法和完全监督方法相媲美的结果。
Jun, 2021
在图数据上的深度学习、自监督学习、图对比学习和以数据为基础的图学习的实际应用是这篇综述的主要内容。
May, 2024
推荐系统在面对信息过载的挑战中发挥着关键作用,通过基于个人用户偏好的个性化推荐提供了解决方案。深度学习技术(如 RNN、GNN 和 Transformer 架构)显著推动了推荐系统的发展,增强其对用户行为和偏好的理解。然而,在现实场景中,监督学习方法由于数据稀疏性而面临挑战,限制了它们有效学习表示的能力。自监督学习技术作为一种解决方案应运而生,利用固有数据结构生成监督信号,不仅依赖于已标记的数据。通过利用未标记数据和提取有意义的表示方法,利用自监督学习的推荐系统可以在面对数据稀疏性时进行准确的预测和推荐。本文对为推荐系统设计的自监督学习框架进行了全面的回顾,包括对超过 170 篇论文的深入分析。我们探索了九种不同的场景,以全面理解不同情境中使用自监督学习增强的推荐系统。对于每个领域,我们详细阐述了不同的自监督学习范式,即对比学习、生成学习和对抗学习,以展示自监督学习如何在各种上下文中增强推荐系统的技术细节。我们在此 https URL 上持续更新相关的开源材料。