Jun, 2021

Graph Barlow Twins: 一种用于图的自监督表示学习框架

PDF
TL;DR提出一种基于自我监督学习的图形表示学习框架 (Graph Barlow Twins)，采用基于互相关的损失函数，不需要负样本，并且不依赖于非对称神经网络结构 (BGRL)，能够在短时间内实现与最佳自我监督方法和完全监督方法相媲美的结果。
self-supervised learninggraph representation learningcross-correlation-based loss functionbarlow twinsneural networks
发现论文，激发创造
  • 巴洛双胞胎：基于冗余减少的自监督学习

    提出了一种名为 Barlow Twins 的自监督学习方法，通过在两个相同的网络中输入扭曲版本的样本并测量它们输出的相关性矩阵，使嵌入向量在保持相似性的同时最小化它们之间的冗余。该方法在低数据范围内的半监督分类上优于以前的方法，并对于使用线性分类器头部的 ImageNet 分类和分类与目标检测的转移任务与当前最先进的方法相媲美。

    Mar, 2021

  • 用混合样本对 Barlow 双胞胎防止过拟合

    通过引入线性插值样本，Mixed Barlow Twins 旨在改善 Barlow Twins 训练过程中的样本交互，从而有效减轻特征过拟合问题并进一步提高 CIFAR-10、CIFAR-100、TinyImageNet、STL-10 和 ImageNet 数据集的下游任务性能。

    Dec, 2023

  • 通过潜在图预测的自监督表示学习

    本文提出了一种基于潜在图预测的自我监督学习框架 LaGraph，通过其理论上的自我监督上界来学习预测未观察到的潜在图。在实验中得到了相对于其他相关方法在性能上的提高和对样本减少的鲁棒性提升的证明。

    Feb, 2022

  • 基于超图的自监督学习与高效采样信号

    SE-HSSL 是一个基于超图的自我监督学习框架，通过两个无需采样的目标和一个基于层次关系的对比目标来解决超图自我监督学习模型中的负样本采样偏差和计算效率问题。实验证明，与现有方法相比，SE-HSSL 在有效性和效率上都具有优势。

    Apr, 2024

  • 通过自举方法进行图上的大规模表征学习

    通过预测输入的替代增强方式，Bootstrapped Graph Latents (BGRL) 提供了一种学习图表达的方法，仅使用简单增强即可同时解决负样本对比和昂贵成本问题，从而在几个基准测试中胜过或匹配之前的方法，并在内存成本方面实现了 2-10 倍的减少。

    Feb, 2021

  • ExGRG: 显式生成关系图用于自监督表示学习

    自我监督学习已成为一种强大的技术，通过利用未标记数据中的嵌入信号而不依赖昂贵的注释标签来预训练深度学习模型。本文介绍了一种新的非对比自我监督学习方法，以显式生成组合关系图（ExGRG）来克服图结构数据的语义改变和反直觉性增强的挑战，并展示其在图表示学习中的优越性。

    Feb, 2024

  • 图像自监督学习：综述

    本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

    Feb, 2021

  • 重新思考和简化引导式图潜变量

    本文介绍了一种基于实例级去相关视角的简洁而有效的图对比学习框架（SGCL），在各种图基准测试中展现出与更少参数，更低时间和空间成本以及显著的收敛加速相比具有竞争性的性能。

    Dec, 2023

  • 图上自监督学习：对比、生成或预测

    本文介绍了在图形数据上进行自监督学习的方法，并将其分为对比、生成和预测三种类型，同时对常用数据集、指标、算法进行了总结，并讨论了未来研究方向。

    May, 2021

  • 自监督学习的图神经网络：统一综述

    本论文介绍了自监督学习在图神经网络上的应用，将其方法分为对比模型和预测模型并提供统一的框架，在 SSL 方法和数据集上提供了概述和标准化的测试平台。

    Feb, 2021