提出一种用于自监督对比学习的方法,包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果,无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative,并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。
Nov, 2020
本文提出了一种特征级方法,即采样合成难负样本用于对比学习(SSCL),以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本,然后通过控制锚定样本与其他负样本的对比度的方式进行采样,并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能,并可以轻松集成到现有方法中。
Apr, 2023
利用图结构和少标记数据执行半监督一致性分类,从而增强少数类的代表性,解决时间序列对比学习中的假阴性和类别不平衡问题。
Dec, 2023
研究表明,在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量,本文提出了一种基于特征水平的硬负例混合策略,并在多个任务上验证其有效性。
Oct, 2020
本研究通过生成精心设计的负样本,表明对比学习可以学习到更具有鲁棒性的表示,减少对低级特征的依赖,而我们通过纹理和面板增强的方式生成负样本,在特定的 ImageNet 数据集上分类时表现出一定的可行性
Oct, 2021
本研究提出了一种新的自监督音视频源定位学习策略,名为 False Negative Aware Contrastive(FNAC),旨在缓解真实世界训练中的错误负样本问题。该方法基于对单模态相似性的利用,可以识别类似样本并构建相应的邻接矩阵来引导对比学习。进一步地,该方法通过显式地利用音源的视觉特征,以区分真实的声源区域,增强了真负样本的作用,从而取得了 Flickr-SoundNet、VGG-Sound 和 AVSBench 中的最先进表现。
Mar, 2023
本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾,并通过图像分类,目标检测和动作识别等多个下游任务的性能比较,探讨了当前方法的限制以及未来发展方向。
本文研究采用自监督学习方法对负样本进行分类,发现难度最高的 5% 的负样本对下游任务几乎是必要和充分的,而容易的 95% 负样本则是不必要和不充分的。同时,我们发现难负样本与查询的语义相似度更高,有些负样本的难易程度比预期的要一致。该研究揭示了负样本的重要性差异及其对自监督学习的积极作用。
本文研究自监督学习在大规模数据集上的应用,提出了一种基于对比学习与聚类的硬负样本挖掘方法(DnC),在 less-curated 数据集上的预训练,可以显著提高自监督学习在后续任务上的表现效果,并与目前在高度筛选数据集上的最新水平保持竞争力。
May, 2021
提出了一种能够在缺少真实标签情况下,通过对不同标签数据进行负采样,纠正样本中同标签数据的影响的去偏置对比损失函数,实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法,并建立了下游分类任务的泛化界限。
Jul, 2020