对比学习的合成硬负样本

Apr, 2023

Synthetic Hard Negative Samples for Contrastive Learning

Hengkui Dong, Xianzhong Long, Yun Li, Lei Chen

TL;DR本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

Abstract

contrastive learning has emerged as an essential approach for self-supervised learning in visual representation learning. The central objective of →

contrastive learning self-supervised learning visual representation learning hard negative samples classification performance

发现论文，激发创造

带难负样本的对比学习

通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

Oct, 2020

对比学习的硬负样本混合

研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

Oct, 2020

带负采样校正的对比学习

提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

Jan, 2024

使用语义衰减的负样本进行稳健的对比学习

本研究通过生成精心设计的负样本，表明对比学习可以学习到更具有鲁棒性的表示，减少对低级特征的依赖，而我们通过纹理和面板增强的方式生成负样本，在特定的 ImageNet 数据集上分类时表现出一定的可行性

Oct, 2021

为图对比学习生成反事实难负样本

提出了一种基于对抗样本生成机制的无监督图学习方法 CGC，它能够让模型获取高质量的正负样本对，避免了传统无监督学习方法中出现的 False Negative 问题，其在多个数据集上与传统无监督学习方法和一些 SOTA 图对比学习方法相比实现了令人满意的结果。

Jul, 2022

对比学习的增量式虚假负例检测

本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

Jun, 2021

自监督点云学习中的硬负采样自对比学习

本研究提出了自对比学习方法用于自我监督点云表示学习，以捕捉点云的局部几何模式和非局部语义基元。实验结果表明，该方法在自我监督点云分割和分类转移学习等领域的基准数据集上取得了最先进的性能。

Jul, 2021

重新思考对比学习的样本选择：潜在样本的挖掘

对比学习中通过综合考虑正负样本以及使用软硬权重策略来挖掘样本，分析并挖掘接近正样本的潜在负样本，相较于传统的自监督方法，该方法在 CIFAR10、CIFAR100 和 TinyImagenet 上分别达到了 88.57%、61.10% 和 36.69% 的准确率。

Nov, 2023

对比度表示学习的硬负样本采样策略

本文介绍了一种基于 UnReMix 的 hard negative sampling 策略，该策略考虑了锚点相似度、模型不确定性和代表性，实验结果表明，与现有的对比学习方法相比，UnReMix 可以改进负样本的选择，从而提高下游任务的性能。

Jun, 2022

利用假阴性消除增强对比自监督学习

提出一种用于自监督对比学习的方法，包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果，无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative，并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。

Nov, 2020