May, 2021

对比吸引与对比排斥在表征学习中的应用

PDF
TL;DR本文提出一种双重对比学习策略（CACR），利用对比吸引和对比排斥机制，在无监督数据集上实现图像表示的改进和鲁棒性提高，特别是在数据集不太平衡时表现良好。
contrastive learningunlabeled datapre-trainingcontrastive attractioncontrastive repulsion
发现论文，激发创造
  • ICCV 2021 VIPriors 图像分类挑战赛第 2 名方案：一种吸引与排斥学习方法

    该研究提出了一种新型的框架，名为 Attract-and-Repulse，利用对比正则化和对称交叉熵等方法，在小规模数据集上提升卷积神经网络的泛化能力和学习效率。

    Jun, 2022

  • 合作 - 对抗性对比学习：正样本和负样本均可直接学习

    本文提出了一种有原则的方法来直接学习正样例和负样例，以配合和对抗的方式通过最大化和最小化对比损失来学习，获得了较好的预训练结果并开源了源代码和预训练模型。

    Mar, 2022

  • 带负采样校正的对比学习

    提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

    Jan, 2024

  • 基于对比表示学习的聚类分配

    本文提出了一种基于对比学习的聚类方法，通过对表示进行分解，并使用分别编码不同信息的部分构建对比损失函数，可以高效地学习聚类结果。实验结果表明，该方法在多个标准数据集上取得了最新的甚至高居领先的聚类性能，尤其在 ImageNet 数据集上的准确率达到了 53.4％，并且优于现有方法。

    Jun, 2023

  • 基于聚类的对比学习，以提高人脸表征

    本文提出了一种名为 CCL 的基于聚类的对比学习方法，利用聚类得到的标签和视频约束来学习具有区分性的人脸特征，展示了该方法在视频人脸聚类的表征学习任务上的显著成果。

    Apr, 2020

  • 基于聚类的具有吸引 - 排斥损失的表示学习

    本文提出了聚类导向的表示学习 (COREL) 作为分类器的一个替代方法，可以建立起了一组高质量自然聚类的潜在表示。经过分析，不同的相似性函数可以满足不同的使用场景，其中余弦 - COREL 变体形成了一个一致的可聚类的潜在空间，而高斯 - COREL 变体在分类准确度上优于 CCE。

    Dec, 2018

  • 解耦对比学习

    本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

    Oct, 2021

  • 对抗样本的对比学习

    本文提出了一种针对对抗性对比学习的新算法 CLAE，通过使用对抗性样本增强数据并在优化时考虑一个批次中的所有图片，能够更好地定义正负样本，充分提高自监督学习任务的性能和学习能力。

    Oct, 2020

  • 对比无监督表示学习的理论分析

    本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

    Feb, 2019

  • 从朋友那儿获取帮助：最近邻对比学习视觉表示

    NNCLR 是一种基于最近邻对比学习的自监督学习算法，将数据集中最近邻作为正样本而不是图像的不同视角，能够提供比预定义的变换更多的语义变化，达到了在 ImageNet 分类和迁移学习基准测试中超越现有先进方法的效果。此外，该方法的鲁棒性能更好，对于数据变换的依赖性更小。

    Apr, 2021