当硬负采样遇上监督对比学习

Aug, 2023

When hard negative sampling meets supervised contrastive learning

Zijun Long, George Killick, Richard McCreadie, Gerardo Aragon Camarasa, Zaiqiao Meng

TL;DR提出了一种新的监督对比学习目标 SCHaNe，在细调阶段引入了硬负样本采样，实验结果表明，在各种基准测试中，SCHaNe 在 Top-1 准确率上优于强基准 BEiT-3，少样本学习设置中取得了 3.32% 的显著增益和完整数据集细调中的 3.41% 的显著增益，这一目标在 ImageNet-1k 上取得了 86.14% 的准确率，并且改进的嵌入效果更好，可以解释实验中观察到的改进效果。

Abstract

State-of-the-art image models predominantly follow a two-stage strategy: pre-training on large datasets and fine-tuning with cross-entropy loss. Many studies have shown that using cross-entropy can result in sub-

image models supervised contrastive loss hard negative mining fine-tuning schane

发现论文，激发创造

预训练语言模型微调的监督对比学习

通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

Nov, 2020

对比学习的硬负样本混合

研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

Oct, 2020

对比学习的合成硬负样本

本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

Apr, 2023

带难负样本的对比学习

通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

Oct, 2020

探究硬负样本分布对对比知识图谱嵌入的影响

本文探讨了知识图谱嵌入的关键问题，并提出了使用 Hardness and Structure-aware（HaSa）对抗性 KGE 算法与负样本分布来消除误分类三元组，从而在 WN18RR 和 FB15k-237 数据集上优于现有的 KGE 方法。

May, 2023

通过困难负样本增强多模态对比学习中的概念理解

通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

Mar, 2024

噪声对比估计中的困难负例理解

本文探讨了在噪声对比估计中选择负面案例的重要性，发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的，我们开发了分析工具以理解硬负面案例的作用，并通过将负面分布设置为模型分布来减少误差，同时将硬负面案例与适当的评分函数相结合，取得了强大的零 - shot 实体链接结果。

Apr, 2021

重新思考对比学习的样本选择：潜在样本的挖掘

对比学习中通过综合考虑正负样本以及使用软硬权重策略来挖掘样本，分析并挖掘接近正样本的潜在负样本，相较于传统的自监督方法，该方法在 CIFAR10、CIFAR100 和 TinyImagenet 上分别达到了 88.57%、61.10% 和 36.69% 的准确率。

Nov, 2023

利用动量对比学习的标签感知负样本采样策略在隐性仇恨言论检测中的应用

通过使用 Label-aware Hard Negative (LAHN) 采样策略以及动量集成对比学习，本研究提出的模型能够有效检测隐式仇恨言论，并在内部数据集和交叉数据集中优于现有模型。

Jun, 2024

对抗对比自监督学习

本文介绍了一种基于在线负样本对挖掘的自我监督深度学习范式，包括学生教师网络、正负样本对挖掘和三元组式的损失函数等，实验表明该方法可以有效地提高标签效率并在 ILSVRC-2012 上表现优异。

Feb, 2022