概率对比学习用于长尾视觉识别

Mar, 2024

Probabilistic Contrastive Learning for Long-Tailed Visual Recognition

Chaoqun Du, Yulin Wang, Shiji Song, Gao Huang

TL;DR在研究中，我们提出了一种新颖的概率对比学习算法（ProCo），它通过估计特征空间中每个类别的样本数据分布并相应地采样对比对，以克服由于数据不平衡而导致的标准有监督学习算法性能下降的难题。我们引入了一个合理简单的假设，即在对比学习中，归一化特征遵循单位空间上的一组 von Mises-Fisher（vMF）分布的混合分布，利用该分布参数的估计，我们可以采样无限数量的对比对，并得到了对比损失的闭合形式，从而实现高效优化。

Abstract

long-tailed distributions frequently emerge in real-world data, where a large number of minority categories contain a limited number of samples. Such imbalance issue considerably impairs the performance of standard supervised learning algorithms, which are mainly designed for balanced

long-tailed distributions supervised contrastive learning data imbalance probabilistic contrastive learning mixture of von mises-fisher (vmf) distributions

发现论文，激发创造

基于对比学习的混合网络用于长尾图像分类

本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

Mar, 2021

面向长尾视觉识别的平衡对比学习

本研究提出一种适用于长尾数据的平衡对比学习方法 (BCL)，通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式，使分类器实现更好的优化，并在多个长尾数据集上超过了现有竞争对手 (ClFAR-10-LT,CIFAR-100-LT, ImageNet-LT, 以及 iNaturalist2018)

Jul, 2022

针对长尾识别的有监督对比学习

该论文研究了如何通过有针对性的监督对比学习，提高长尾识别中少数类的识别准确率，提出了针对性的监督对比学习方法 (TSC)，通过让不同类别的特征向量在训练过程中收敛至不同且均匀分布的目标点，从而提高了特征空间的均匀性，改善类别边界，提高了模型的泛化能力，实验结果验证了 TSC 方法在多个数据集上均取得了当下最先进的表现。

Nov, 2021

参数对比学习

本文提出 Parametric Contrastive Learning（PaCo）来解决长尾识别问题，通过引入一组类内可学习参数来重新平衡优化，PaCo 可以自适应地提高将同类样本推向一起的强度，并造福于难度样本学习。实验表明，使用 PaCo loss 在长尾 CIFAR，ImageNet，Places 和 iNaturalist 2018 上具有新的领先水平。

Jul, 2021

探索对比学习用于长尾多标签文本分类

我们进行了关于有监督对比学习在多标签文本分类中的影响以及如何构建稳健的表示空间的研究，提出了一种新的对比损失函数，并在三个多标签数据集上实现了显著的宏 F1 分数改进。

Apr, 2024

长尾识别中的子类平衡对比学习

本文提出了一种新的 “子类平衡对比学习（SBCL）” 方法，通过在表示空间中对头类聚类，以捕捉头类和尾类之间的两层类层次结构，实现了实例和子类平衡，并通过在不同类之间的子类对比学习来学习原始类标签。

Jun, 2023

带有重新平衡的对比损失的长尾学习

通过将受监督的对比损失整合到基于交叉熵的通信中，解决了长尾学习问题。具体而言，使用 Rebalanced Contrastive Learning (RCL) 方法来提高长尾分类准确度，通过实现几个关键方面，即特征空间均衡、类内紧凑性和正则化。在 Balanced Contrastive Learning (BCL) Framework 中实施 RCL，实验结果表明 RCL 提供了对 BCL 框架的丰富嵌入以及更高的准确度。同时，RCL 作为一个独立的损失函数，也实现了与最先进方法相当的准确度水平。

Dec, 2023

SMCL：用于长尾识别的显著性掩蔽对比学习

本文提出了一种新的方法，利用显著性遮罩和对比学习来减轻训练不平衡数据的问题并提高模型的泛化能力，在特征空间中将遮罩图像移向次要类别，以减少与原始类别相关的背景特征。实验证明，我们的方法在基准长尾数据集上获得了最先进的性能水平。

Jun, 2024

长尾识别的均匀分布类别原型引导视觉语言框架

研究论文提出了一种基于统一类别原型导向的视觉语言框架，用于有效缓解数据不平衡引起的特征空间偏差，并通过去除无关噪声文本和增强关键属性信息的模块提高模型的鲁棒性，同时通过类特征原型导向分类器解决学习分类器的正向偏差问题，从而在长尾学习中实现了比之前方法更优越的性能。

Aug, 2023

带有增强记忆的对比学习

本研究提供一种从数据角度出发的 Boosted Contrastive Learning (BCL) 方法用于自监督长尾学习，以识别长尾分布的尾部数据，通过深度神经网络来自动驱动样本视图的信息差异，从而增强了标签无关情境下的长尾学习效率，并在广泛的基准数据集上展示了超过几种最先进方法的有效性。

May, 2022