Apr, 2024

基于超图的自监督学习与高效采样信号

PDF
TL;DRSE-HSSL 是一个基于超图的自我监督学习框架，通过两个无需采样的目标和一个基于层次关系的对比目标来解决超图自我监督学习模型中的负样本采样偏差和计算效率问题。实验证明，与现有方法相比，SE-HSSL 在有效性和效率上都具有优势。
self-supervised learninghypergraphsse-hsslsampling-efficient self-supervised signalscanonical correlation analysis
发现论文，激发创造
  • 通过潜在图预测的自监督表示学习

    本文提出了一种基于潜在图预测的自我监督学习框架 LaGraph，通过其理论上的自我监督上界来学习预测未观察到的潜在图。在实验中得到了相对于其他相关方法在性能上的提高和对样本减少的鲁棒性提升的证明。

    Feb, 2022

  • 缓解邻居偏差：通过结构等价正样本增强图自监督学习

    本文提出了一种基于拓扑信号驱动的自监督学习方法，通过使用多尺度的拓扑信息特征和具有高结构等价性的非邻居节点对之间的拖拽作用，解决了现有图神经网络中的邻近偏见问题，并在七个图数据集上的节点分类任务中有效提高了模型性能。

    Dec, 2022

  • 图像自监督学习：综述

    本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

    Feb, 2021

  • 图上自监督学习：对比、生成或预测

    本文介绍了在图形数据上进行自监督学习的方法，并将其分为对比、生成和预测三种类型，同时对常用数据集、指标、算法进行了总结，并讨论了未来研究方向。

    May, 2021

  • HypeBoy: 超图上的生成式自我监督学习

    提出了一种针对超图的新型生成性自监督学习策略，通过超边填充的生成性自监督任务来学习复杂的超图拓扑，其中的方法 HypeBoy 在 11 个基准数据集上优于 16 种基线方法，学习了有效的通用超图表示。

    Mar, 2024

  • 自监督学习的图神经网络：统一综述

    本论文介绍了自监督学习在图神经网络上的应用，将其方法分为对比模型和预测模型并提供统一的框架，在 SSL 方法和数据集上提供了概述和标准化的测试平台。

    Feb, 2021

  • Graph Barlow Twins: 一种用于图的自监督表示学习框架

    提出一种基于自我监督学习的图形表示学习框架 (Graph Barlow Twins)，采用基于互相关的损失函数，不需要负样本，并且不依赖于非对称神经网络结构 (BGRL)，能够在短时间内实现与最佳自我监督方法和完全监督方法相媲美的结果。

    Jun, 2021

  • 社会感知自我监督三训练推荐

    本文提出了一个集成 tri-training 的通用社交感知的自监督学习框架，将节点间的自我监督信号与其他节点的监督信号结合起来，以提高推荐系统性能。实验证明了该框架的有效性。

    Jun, 2021

  • 可扩展的图自监督学习

    通过采样节点或维度，可以降低损失计算成本，并且不会降低下游性能。

    Feb, 2024

  • 提高自监督学习的算法、模型和数据效率

    通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同时，比各种基准方法表现更好，尤其在有限数量的数据和小型模型的情况下效果显著。

    Apr, 2024