利用合成正样本的对比学习
本文中介绍了一种新的图像对比学习方法,该方法采用有条件的负采样策略来优化互信息估计,与传统的噪声对比估计相比,该方法在多个标准数据集上都获得了2-5%的准确度提升,并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。
Oct, 2020
提出一种用于自监督对比学习的方法,包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果,无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative,并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。
Nov, 2020
NNCLR是一种基于最近邻对比学习的自监督学习算法,将数据集中最近邻作为正样本而不是图像的不同视角,能够提供比预定义的变换更多的语义变化,达到了在ImageNet分类和迁移学习基准测试中超越现有先进方法的效果。此外,该方法的鲁棒性能更好,对于数据变换的依赖性更小。
Apr, 2021
本论文研究了对比学习中正负样本设计的关键问题,并提出一种不同于数据增强的特征级数据操作策略,提高对比自监督学习的学习效果。作者们使用可视化工具分析数据,提出正样本外推和负样本插值两种特征变换策略,将其应用于图像分类任务,实验结果表明,本论文提出的特征变换策略可以明显提高图像分类准确率,并且具备不错的推广性。
Aug, 2021
本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法(DCL),并对其进行了在多种基准测试中的复现和实时检验,最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。
Oct, 2021
本研究提出了一种简单而有效的对比学习框架来解决Contrastive Self-supervised Learning (CSL)中样本不足问题,将同一个输入的不同视角拉近,不同输入的视角推远,提高了视觉表征的质量,并在ImageNet-1K数据集上表现出了超越完全监督训练版本的性能。
Aug, 2022
本文提出了一种特征级方法,即采样合成难负样本用于对比学习(SSCL),以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本,然后通过控制锚定样本与其他负样本的对比度的方式进行采样,并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能,并可以轻松集成到现有方法中。
Apr, 2023
该论文研究了深度神经网络模型训练中的计算机生成图像的真实性问题,使用对比度学习和硬负样本挖掘方法,实现了对计算机生成和真实图像之间的语义和结构一致性匹配,从而得到了最先进的性能表现。
Apr, 2023
本研究探讨使用由文本到图像模型生成的合成图像学习视觉表示的潜力,提出一种多正对比学习方法,称为 StableRep。使用20M个合成图像训练的 StableRep 表现优于使用相同文本提示和对应真实图像的SimCLR和CLIP学习的表示,在大规模数据集上,加入语言监督之后, StableRep 的性能优于使用50M 真实图像训练的 CLIP。
Jun, 2023