CVPRMar, 2021

基于对比学习的混合网络用于长尾图像分类

PDF
TL;DR本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。
discriminative image representationssupervised contrastive learninglong-tailed image classificationhybrid network structurefeature learning
发现论文，激发创造
  • 针对长尾识别的有监督对比学习

    该论文研究了如何通过有针对性的监督对比学习，提高长尾识别中少数类的识别准确率，提出了针对性的监督对比学习方法 (TSC)，通过让不同类别的特征向量在训练过程中收敛至不同且均匀分布的目标点，从而提高了特征空间的均匀性，改善类别边界，提高了模型的泛化能力，实验结果验证了 TSC 方法在多个数据集上均取得了当下最先进的表现。

    Nov, 2021

  • 面向长尾视觉识别的平衡对比学习

    本研究提出一种适用于长尾数据的平衡对比学习方法 (BCL)，通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式，使分类器实现更好的优化，并在多个长尾数据集上超过了现有竞争对手 (ClFAR-10-LT,CIFAR-100-LT, ImageNet-LT, 以及 iNaturalist2018)

    Jul, 2022

  • 探索对比学习用于长尾多标签文本分类

    我们进行了关于有监督对比学习在多标签文本分类中的影响以及如何构建稳健的表示空间的研究，提出了一种新的对比损失函数，并在三个多标签数据集上实现了显著的宏 F1 分数改进。

    Apr, 2024

  • 概率对比学习用于长尾视觉识别

    在研究中，我们提出了一种新颖的概率对比学习算法（ProCo），它通过估计特征空间中每个类别的样本数据分布并相应地采样对比对，以克服由于数据不平衡而导致的标准有监督学习算法性能下降的难题。我们引入了一个合理简单的假设，即在对比学习中，归一化特征遵循单位空间上的一组 von Mises-Fisher（vMF）分布的混合分布，利用该分布参数的估计，我们可以采样无限数量的对比对，并得到了对比损失的闭合形式，从而实现高效优化。

    Mar, 2024

  • 带有重新平衡的对比损失的长尾学习

    通过将受监督的对比损失整合到基于交叉熵的通信中，解决了长尾学习问题。具体而言，使用 Rebalanced Contrastive Learning (RCL) 方法来提高长尾分类准确度，通过实现几个关键方面，即特征空间均衡、类内紧凑性和正则化。在 Balanced Contrastive Learning (BCL) Framework 中实施 RCL，实验结果表明 RCL 提供了对 BCL 框架的丰富嵌入以及更高的准确度。同时，RCL 作为一个独立的损失函数，也实现了与最先进方法相当的准确度水平。

    Dec, 2023

  • 长尾识别的解耦对比学习

    使用监督对比损失（SCL）方法进行视觉表示学习，在长尾识别场景下，通过解耦 SCL 的训练目标和使用基于图像补丁的自我蒸馏来优化性能，实验证明该方法在长尾分类基准上具有卓越的准确率，并与集合方法相结合进一步提高性能。

    Mar, 2024

  • 长尾识别中的子类平衡对比学习

    本文提出了一种新的 “子类平衡对比学习（SBCL）” 方法，通过在表示空间中对头类聚类，以捕捉头类和尾类之间的两层类层次结构，实现了实例和子类平衡，并通过在不同类之间的子类对比学习来学习原始类标签。

    Jun, 2023

  • 通过对比学习的混合判别生成训练

    该论文通过能量基模型的混合判别 - 生成式训练，展现出对比学习和监督学习之间的直接联系，并且提出的能量基损失函数的逼近方法有着比现有方法更好的分类准确性、鲁棒性、分布检测和校准性能。

    Jul, 2020

  • 对比损失的有趣特性

    本论文详细分析了对比学习的三个问题：扩展标准对比损失、局部特征学习和竞争特征抑制现象，并指出了此类方法可能存在的数据增强限制和学习饱和等问题。

    Nov, 2020

  • 带有增强记忆的对比学习

    本研究提供一种从数据角度出发的 Boosted Contrastive Learning (BCL) 方法用于自监督长尾学习，以识别长尾分布的尾部数据，通过深度神经网络来自动驱动样本视图的信息差异，从而增强了标签无关情境下的长尾学习效率，并在广泛的基准数据集上展示了超过几种最先进方法的有效性。

    May, 2022