带难负样本的对比学习
本文提出了一种特征级方法,即采样合成难负样本用于对比学习(SSCL),以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本,然后通过控制锚定样本与其他负样本的对比度的方式进行采样,并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能,并可以轻松集成到现有方法中。
Apr, 2023
本文介绍了一种基于 UnReMix 的 hard negative sampling 策略,该策略考虑了锚点相似度、模型不确定性和代表性,实验结果表明,与现有的对比学习方法相比,UnReMix 可以改进负样本的选择,从而提高下游任务的性能。
Jun, 2022
研究表明,在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量,本文提出了一种基于特征水平的硬负例混合策略,并在多个任务上验证其有效性。
Oct, 2020
本文探讨了在噪声对比估计中选择负面案例的重要性,发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的,我们开发了分析工具以理解硬负面案例的作用,并通过将负面分布设置为模型分布来减少误差,同时将硬负面案例与适当的评分函数相结合,取得了强大的零 - shot 实体链接结果。
Apr, 2021
提出了一种能够在缺少真实标签情况下,通过对不同标签数据进行负采样,纠正样本中同标签数据的影响的去偏置对比损失函数,实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法,并建立了下游分类任务的泛化界限。
Jul, 2020
本研究提出了自对比学习方法用于自我监督点云表示学习,以捕捉点云的局部几何模式和非局部语义基元。实验结果表明,该方法在自我监督点云分割和分类转移学习等领域的基准数据集上取得了最先进的性能。
Jul, 2021
该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响,包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。
Jun, 2021
本研究通过生成精心设计的负样本,表明对比学习可以学习到更具有鲁棒性的表示,减少对低级特征的依赖,而我们通过纹理和面板增强的方式生成负样本,在特定的 ImageNet 数据集上分类时表现出一定的可行性
Oct, 2021
提出了一种基于对抗样本生成机制的无监督图学习方法 CGC,它能够让模型获取高质量的正负样本对,避免了传统无监督学习方法中出现的 False Negative 问题,其在多个数据集上与传统无监督学习方法和一些 SOTA 图对比学习方法相比实现了令人满意的结果。
Jul, 2022
通过合成困难的负面文字示例,引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题,并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。
Mar, 2024