May, 2021

相似性协同校准的半监督对比学习

PDF
TL;DR本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning，简称 SsCL) 的训练策略，将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合，进而联合优化两个目标，并使用神经网络来实现。结果表明，SsCL 产生了更具有区分性的表示，并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上，SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度，这比基线要好得多，也优于以前的半监督学习和自监督学习方法。
发现论文，激发创造
  • 半监督关系对比学习

    本文介绍了一种基于半监督关系对比学习的皮肤病诊断方法，通过有效利用未标记图像进行预训练 / 精调并验证了其在不同标记数据数量下的有效性。

    Apr, 2023

  • 推荐的监督对比学习

    这篇论文提出一种名为 SCL 的学习范式，支持图卷积神经网络，同时加入了数据预处理过程中节点之间的相似度计算和节点复制的数据增强方法，经实验证明可以提高推荐准确度和抗干扰能力。

    Jan, 2022

  • 面向会话推荐的自对比学习

    本研究提出自我对比学习算法，并将其应用于会话推荐问题中，以优化物品表示空间的均匀度和减少模型复杂度，进而实现比之前的算法更好的预测性能。研究证明，该算法不需要额外的采样和数据增强操作，并在三个基准数据集上得到了统计上显著的性能提升。

    Jun, 2023

  • 对比学习暗中进行着随机邻居嵌入

    本文探讨了无监督自学习对偶损失模型（SSCL）的理论基础，提出了在随机邻居嵌入（SNE）视角下，使用数据增强构建 “正” 偶对实现了对输入空间对比度的优化，通过与 SNE 对应，进一步提供了方法学指导并证明了使用域不可知增强与隐式偏见得到的潜在优势，同时证明了从 SNE 到 t-SNE 转换的适用性并在实验中取得了相应的优化效果。

    May, 2022

  • 语义对比学习的深度聚类

    本文提出了一种语义对比学习的方法（SCL），将距离的聚类结构引入到无标注数据的特征空间中，并通过优化实例视觉相似性和聚类决策边界的一致性来推理出语义上的实体类别，以在发现未知类别决策边界方面具有显着优势。实验证明，SCL 在六个物体识别基准测试中优于最先进的对比学习和深度聚类方法，尤其是在更具挑战性的精细和较大的数据集上。

    Mar, 2021

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 对比学习是基于相似度图的谱聚类

    本文研究了对比学习的等价性和理论基础，并建立了对比学习与谱聚类算法之间的等价性。同时，我们探讨了多模态对象是如何相似地嵌入在一起的，并提出了一种新的核混合损失，相较标准高斯核在几个视觉数据集上有更好的表现。

    Mar, 2023

  • 预训练语言模型微调的监督对比学习

    通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

    Nov, 2020

  • 用对比学习支持聚类

    该论文提出了 SCCL 框架，使用对比学习来帮助无监督聚类，有效提升类别间距离，进而在短文本聚类中达到更好的结果。研究表明，SCCL 能够显著提高精度和归一化互信息，同时有效结合自下而上的实例判别和自上而下的聚类来实现更好的聚类效果。

    Mar, 2021

  • 时间序列预测中构成良好对比学习的因素是什么？

    本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

    Jun, 2023