研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

Oct, 2020

为了解决 Vision and Language Models 对于细致的理解和 fine-grained 任务的挑战，本研究提出一种基于 intra-modal 和 cross-modal rank loss 的策略，该策略不需要额外的注释或参数，可应用于任何使用图像 - 文本对比损失训练的 VLMs。在应用于 CLIP 上时，该方法在三个细粒度基准测试上显著提高了性能，并增强了 X-VLM 在细粒度推理上的表现。

Jun, 2023

本研究通过生成精心设计的负样本，表明对比学习可以学习到更具有鲁棒性的表示，减少对低级特征的依赖，而我们通过纹理和面板增强的方式生成负样本，在特定的 ImageNet 数据集上分类时表现出一定的可行性

Oct, 2021

本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

Apr, 2023

通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

Oct, 2020

本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

Jun, 2021

本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

Oct, 2020

提出了一种新的监督对比学习目标 SCHaNe，在细调阶段引入了硬负样本采样，实验结果表明，在各种基准测试中，SCHaNe 在 Top-1 准确率上优于强基准 BEiT-3，少样本学习设置中取得了 3.32% 的显著增益和完整数据集细调中的 3.41% 的显著增益，这一目标在 ImageNet-1k 上取得了 86.14% 的准确率，并且改进的嵌入效果更好，可以解释实验中观察到的改进效果。

Aug, 2023

本文探讨了在噪声对比估计中选择负面案例的重要性，发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的，我们开发了分析工具以理解硬负面案例的作用，并通过将负面分布设置为模型分布来减少误差，同时将硬负面案例与适当的评分函数相结合，取得了强大的零 - shot 实体链接结果。

Apr, 2021

对比学习中通过综合考虑正负样本以及使用软硬权重策略来挖掘样本，分析并挖掘接近正样本的潜在负样本，相较于传统的自监督方法，该方法在 CIFAR10、CIFAR100 和 TinyImagenet 上分别达到了 88.57%、61.10% 和 36.69% 的准确率。

Nov, 2023