Sep, 2020

图分类的对比自监督学习

PDF
TL;DR本研究提出了两种基于对比自监督学习（CSSL）的方法来缓解过拟合的问题，具体地，我们使用 CSSL 对图形编码器进行预训练，并在标记后的图形上调整预先训练的编码器。我们还开发了一个基于 CSSL 的正则化器，同时解决监督分类任务和无监督 CSSL 任务。通过数据增强的方式，定义了对比损失来学习图形编码器。实验结果表明，我们提出的方法在各种图形分类数据集上都非常有效。
发现论文，激发创造
  • 走向图对比学习：调查和进展

    在图数据上的深度学习、自监督学习、图对比学习和以数据为基础的图学习的实际应用是这篇综述的主要内容。

    May, 2024

  • 图上自监督学习：对比、生成或预测

    本文介绍了在图形数据上进行自监督学习的方法，并将其分为对比、生成和预测三种类型，同时对常用数据集、指标、算法进行了总结，并讨论了未来研究方向。

    May, 2021

  • 基于图的半监督学习的对比与生成图卷积网络

    本文提出了一种新颖的基于图卷积网络的 SSL 算法，通过利用数据相似性和图结构来丰富监督信号，从而改善了现有方法的性能。该算法通过设计半监督对比损失和图生成损失提取潜在的关系，并在各种实际数据集上取得了显著的分类性能，与现有最先进的方法进行了比较。

    Sep, 2020

  • 图像自监督学习：综述

    本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

    Feb, 2021

  • LocalGCL：基于局部感知的图形对比学习

    局部感知图对比学习 (LACL) 是一种自监督学习框架，通过基于掩膜的建模补充性地捕捉局部图信息，相对于纯粹的对比学习，有效解决了在应用于图数据时过于强调全局模式而忽略局部结构的问题。实验结果验证了 LACL 方法优于当前最先进方法，展示了其作为一种全面的图表示学习器的潜力。

    Feb, 2024

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 上下文自监督下的链接预测

    提出一种结构化上下文感知自监督学习（CSSL）的方法，通过两种不同结构上下文的预测，在端到端的训练中，构建一个链接编码器来推断链路存在概率。CSSL 可以处理有、无属性的网络，并且在诸如节点属性噪声鲁棒性和大规模网络的可扩展性方面具有竞争力。

    Jan, 2022

  • 通过潜在图预测的自监督表示学习

    本文提出了一种基于潜在图预测的自我监督学习框架 LaGraph，通过其理论上的自我监督上界来学习预测未观察到的潜在图。在实验中得到了相对于其他相关方法在性能上的提高和对样本减少的鲁棒性提升的证明。

    Feb, 2022

  • 对比自监督学习综述

    本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

    Oct, 2020

  • 对比自监督学习导致更高的对抗性易感性

    通过对比自监督学习与 supervised learning 在对抗鲁棒性上的表现，本文发现 contrastive self-supervised learning 的数据表示倾向于在单位超球面上均匀分布，这导致其比 supervised learning 更容易受到干扰，作者提出了一种有效的方法来检测与消除训练中的 false negative pairs，并将其应用于对比自监督学习中，成功缩小了对抗鲁棒性方面与 supervised learning 之间的差距，提高了模型的性能。

    Jul, 2022