图上自监督学习:深入解析和新方向
本文综述了基于自监督学习技术在图数据中的应用,提出了一个统一的数学框架,并将这些方法根据预文本任务的目标分为四类,并描述了在各个研究领域中的应用及所采用的数据集,评估基准,性能比较和开源图形 SSL 代码。
Feb, 2021
本文提出了一种基于潜在图预测的自我监督学习框架 LaGraph,通过其理论上的自我监督上界来学习预测未观察到的潜在图。在实验中得到了相对于其他相关方法在性能上的提高和对样本减少的鲁棒性提升的证明。
Feb, 2022
Graph self-supervised learning can be improved by leveraging multiple pretext tasks through the AutoSSL framework, which uses homophily as guidance and significantly boosts the performance on downstream tasks.
Jun, 2021
在相对有限 / 受约束的数据集中,通过比较实验评估了现代视觉自监督学习方法的有效性,发现针对特定领域的下游任务,在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练,为该领域中各类自监督学习方法的性能提供了有价值的见解,并提出了直接的未来研究方向。
Apr, 2024
该研究介绍了一种名为 PARETOGNN 的自监督多任务学习框架,利用多个不同的哲学观点的预文本任务监督自我学习,从而在进行节点表示学习和其他后续任务时产生最佳绩效。
Oct, 2022
推荐系统在面对信息过载的挑战中发挥着关键作用,通过基于个人用户偏好的个性化推荐提供了解决方案。深度学习技术(如 RNN、GNN 和 Transformer 架构)显著推动了推荐系统的发展,增强其对用户行为和偏好的理解。然而,在现实场景中,监督学习方法由于数据稀疏性而面临挑战,限制了它们有效学习表示的能力。自监督学习技术作为一种解决方案应运而生,利用固有数据结构生成监督信号,不仅依赖于已标记的数据。通过利用未标记数据和提取有意义的表示方法,利用自监督学习的推荐系统可以在面对数据稀疏性时进行准确的预测和推荐。本文对为推荐系统设计的自监督学习框架进行了全面的回顾,包括对超过 170 篇论文的深入分析。我们探索了九种不同的场景,以全面理解不同情境中使用自监督学习增强的推荐系统。对于每个领域,我们详细阐述了不同的自监督学习范式,即对比学习、生成学习和对抗学习,以展示自监督学习如何在各种上下文中增强推荐系统的技术细节。我们在此 https URL 上持续更新相关的开源材料。
Apr, 2024