长尾识别的解耦对比学习
本研究中,我们解耦学习过程,系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明,数据不平衡在学习高质量表示方面可能不是问题,在使用最简单的实例平衡抽样进行学习表示的情况下,只需调整分类器就能实现强大的长尾识别能力,甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。
Oct, 2019
本文研究基于对比学习的监督式分类学习策略,提出了一种混合网络结构,用于从不平衡的数据中学习更好的图像表征,以提高分类精度。具体而言,我们探索了两种对比损失的变体,以推动特征学习,从而实现更好的分类器。实验结果表明,基于对比学习的混合网络在长尾分类中优于传统方法。
Mar, 2021
提出了一种新的框架 CBD,利用知识蒸馏增强特征表示,通过使用类平衡采样,第二阶段的训练使得特征表示能够在少数类上进化,可以自然的适用多个 Teachers,并在 ImageNet-LT,iNaturalist17 和 iNaturalist18 数据集上取得比现有技术更好的性能。
Apr, 2021
本文提出了一种Self Supervised到Distillation (SSD)的概念简单却特别有效的多阶段训练方案,通过使用软标签,此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别,实验表明,我们的方法在几个长尾识别基准上均取得了最先进的结果。
Sep, 2021
该论文研究了如何通过有针对性的监督对比学习,提高长尾识别中少数类的识别准确率,提出了针对性的监督对比学习方法(TSC),通过让不同类别的特征向量在训练过程中收敛至不同且均匀分布的目标点,从而提高了特征空间的均匀性,改善类别边界,提高了模型的泛化能力,实验结果验证了TSC方法在多个数据集上均取得了当下最先进的表现。
Nov, 2021
本研究提出一种适用于长尾数据的平衡对比学习方法(BCL),通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式,使分类器实现更好的优化,并在多个长尾数据集上超过了现有竞争对手(ClFAR-10-LT,CIFAR-100-LT, ImageNet-LT,以及iNaturalist2018)
Jul, 2022
本文提出了一种集成对比学习和分类器调整技巧的方法,旨在优化长尾数据集下的表征学习。通过最大化隐变量和真实标签之间的互信息,该方法在长尾识别任务和图像分割任务中展现了领先水平。
May, 2023
本文提出了一种新的“子类平衡对比学习(SBCL)”方法,通过在表示空间中对头类聚类,以捕捉头类和尾类之间的两层类层次结构,实现了实例和子类平衡,并通过在不同类之间的子类对比学习来学习原始类标签。
Jun, 2023
本文介绍了一种名为双分支长尾识别(DB-LTR)的简单而有效的模型,它包括一个不平衡学习分支和一个对比学习分支(CoLB),通过利用常见的不平衡学习方法来解决数据不平衡问题,并通过对比学习分支来改善模型对尾部类别的适应能力,并学习出一个具有很好表现特征空间和有区分度的决策边界。在CIFAR100-LT、ImageNet-LT和Places-LT三个长尾基准数据集上的大量实验证明,DB-LTR相比比较方法具有竞争力且卓越。
Sep, 2023
通过将受监督的对比损失整合到基于交叉熵的通信中,解决了长尾学习问题。具体而言,使用Rebalanced Contrastive Learning (RCL)方法来提高长尾分类准确度,通过实现几个关键方面,即特征空间均衡、类内紧凑性和正则化。在Balanced Contrastive Learning (BCL) Framework中实施RCL,实验结果表明RCL提供了对BCL框架的丰富嵌入以及更高的准确度。同时,RCL作为一个独立的损失函数,也实现了与最先进方法相当的准确度水平。
Dec, 2023