Jun, 2023

ScoreCL：基于分数匹配函数的自适应对比学习增强

PDF
TL;DR本文提出了一种基于 score-matching 函数的自监督对比学习方法 ScoreCL，通过自适应加权每对数据，改善了现有方法的性能，并在 CIFAR-10、CIFAR-100 和 ImageNet-100 上领先了多种方法，证明了其普适性。
self-supervised contrastive learningrepresentation learningaugmented positive pairsscore-matching functionscorecl
发现论文，激发创造
  • 自适应多头对比学习

    对比学习中，为了实现正样本对高相似度要求和负样本对低相似度要求，提出了使用多个投影头的自适应多头对比学习（AMCL）方法，通过使用每个投影头生成不同特征集合，以及通过自适应温度进行加权和正则化，针对问题进行改进。

    Oct, 2023

  • 面向会话推荐的自对比学习

    本研究提出自我对比学习算法，并将其应用于会话推荐问题中，以优化物品表示空间的均匀度和减少模型复杂度，进而实现比之前的算法更好的预测性能。研究证明，该算法不需要额外的采样和数据增强操作，并在三个基准数据集上得到了统计上显著的性能提升。

    Jun, 2023

  • 双重对比学习：基于标签感知数据增强的文本分类

    本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

    Jan, 2022

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 多模态对比学习的泛化性

    本文通过建立多模态对称矩阵分解和对称矩阵分解的内在联系，证明了多模态对比学习在图像下游任务中的泛化保证，并通过统一模型表明多模态对比学习隐含地通过文本对生成了伪正对，从而具有更多的语义一致和多样性正对，可显著提高基于自我监督的对比学习在图像分类中的性能。

    Jun, 2023

  • 时间序列分类的排序监督对比学习

    提出了一种名为 Rank Supervised Contrastive Learning (RankSCL) 的对比学习框架，通过使用特定过滤规则选择更具信息量的正负样本对，利用排名信息为不同级别的正样本分配不同权重，能够在有限标签样本情况下提取细粒度信息并在不同类别之间产生明确的边界，表现出先进的分类性能。

    Jan, 2024

  • 使用更强数据增强进行对比学习

    该研究提出了一种名为 Contrastive Learning with Stronger Augmentations（CLSA）的新的对比学习方法，利用数据扩增引入样本多样性，从而提高检索能力，实验结果表明该方法在 ImageNet 数据集上的表现接近有监督结果。

    Apr, 2021

  • 视觉语言预训练的改进基线

    本文中，我们提出了一些基线模型，将对比学习与最近的自监督学习进展相结合，用于生成多模态表示。除了使用对比性损失，我们还使用了已被证明对视觉自监督学习成功的损失函数来对齐图像和文本模态。而使用更有效的数据增广技术可以提高模型性能，使我们在四个标准数据集上获得了最先进的性能。

    May, 2023

  • HoughCL：在密集自监督学习中找到更好的正样本对

    本文介绍了一种基于 Hough 空间的对比学习方法，可以实现对于密集预测任务的图像级自我监督学习的表征有效性，并且相对于之前的方法，能够更好地应对背景混杂和异常值问题。

    Nov, 2021

  • 带负采样校正的对比学习

    提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

    Jan, 2024