使用语义衰减的负样本进行稳健的对比学习

Oct, 2021

使用语义衰减的负样本进行稳健的对比学习

Robust Contrastive Learning Using Negative Samples with Diminished Semantics

Songwei Ge, Shlok Mishra, Haohan Wang, Chun-Liang Li, David Jacobs

TL;DR本研究通过生成精心设计的负样本，表明对比学习可以学习到更具有鲁棒性的表示，减少对低级特征的依赖，而我们通过纹理和面板增强的方式生成负样本，在特定的 ImageNet 数据集上分类时表现出一定的可行性

Abstract

unsupervised learning has recently made exceptional progress because of the development of more effective contrastive learning methods. However, CNNs are prone to depend on low-level features that humans deem non

unsupervised learning contrastive learning robust representations negative samples imagenet-texture dataset

发现论文，激发创造

对比学习的合成硬负样本

本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

Apr, 2023

对比学习的硬负样本混合

研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

Oct, 2020

通过困难负样本增强多模态对比学习中的概念理解

通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

Mar, 2024

探索对比学习在无配对图像翻译中的负面影响

本文研究了针对无配对图像的图像翻译技术，并分析了循环一致性与对比学习等方法的不足。作者提出了一种新的基于信息论的负样本剪枝技术，其可以在不影响翻译效果的情况下减少耗时和计算成本。实验证明，该技术比基于大批量负样本的方法更加优越。

Apr, 2022

利用假阴性消除增强对比自监督学习

提出一种用于自监督对比学习的方法，包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果，无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative，并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。

Nov, 2020

带难负样本的对比学习

通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

Oct, 2020

对比学习的增量式虚假负例检测

本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

Jun, 2021

对比学习与非对比学习的比较

本文通过理论结果和实验表明，非对比损失在简单数据模型中具有非坍塌的不良极小值，并且训练过程不能避免这些极小值。

Mar, 2022

卷积神经网络在识别负面图像方面的限制

本文研究卷积神经网络（CNN）在学习训练数据语义方面的能力，通过对负面图像进行评估，发现当 CNN 在正常图像上训练，测试在负面图像时，模型准确度明显降低，导致我们猜测目前的训练方法不能有效地训练模型来概括概念，引入语义对抗示例的概念，并将负面图像作为其中一类这样的输入。

Mar, 2017

重新思考对比学习的样本选择：潜在样本的挖掘

对比学习中通过综合考虑正负样本以及使用软硬权重策略来挖掘样本，分析并挖掘接近正样本的潜在负样本，相较于传统的自监督方法，该方法在 CIFAR10、CIFAR100 和 TinyImagenet 上分别达到了 88.57%、61.10% 和 36.69% 的准确率。

Nov, 2023