Jul, 2022

二阶段微调：一种学习类别不平衡数据的新策略

PDF
TL;DR本研究提出一种两阶段的微调神经网络的方法。首先，利用平衡权重重新设计模型进行初步的调整，然后再进行标准的微调过程，以解决在长尾分布数据上进行神经网络训练时类别不平衡和类别样本不足的问题。实验结果表明，这种方法在各种合成数据集和现实应用中都具有优越性。
long-tailed distributed dataclass-imbalancefine-tuningpretrained modelclass-balanced reweighting loss
发现论文，激发创造
  • 长尾识别的表示与分类器解耦

    本研究中，我们解耦学习过程，系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明，数据不平衡在学习高质量表示方面可能不是问题，在使用最简单的实例平衡抽样进行学习表示的情况下，只需调整分类器就能实现强大的长尾识别能力，甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。

    Oct, 2019

  • 改进长尾识别的校准

    本文针对训练数据集不均衡和 miscalibration 等问题，设计了两种方法，分别为标签感知平滑和批次偏移规范化，并在多个长尾识别基准数据集上创造了新记录。

    Apr, 2021

  • 从不平衡中构建平衡：长尾图像识别

    本文提出了一种新的解决长尾图像识别中头尾偏差问题的方法，通过调整标签空间来平衡数据，从而提高分类性能。实验证明该方法可应用于多种模型，并为长尾特征学习提供了思路。

    Aug, 2022

  • 探索长尾识别问题中的权重平衡

    研究了一种针对长尾数据的方法，基于权重平衡和两阶段训练结合的经典正则化技术，通过分析神经崩溃和锥效应，发现该方法是通过权重衰减和交叉熵损失以及类平衡损失调整的隐式 logit 方法增加特征提取器的 Fisher 判别比率。研究表明，通过将训练阶段的数量减少到一个并提高准确性，可以进一步简化训练方法。

    May, 2023

  • 从域自适应的角度重新思考针对长尾视觉识别的类别平衡方法

    本文从领域自适应的角度分析了分类中长尾类别分布的问题，提出了基于元学习的显式估计类别条件分布差异的方案，并在六个基准数据集和三个损失函数上进行了验证。

    Mar, 2020

  • 解决长尾噪声标签学习问题：基于标签珍稀性考虑的两阶段解决方案

    通过结合软标签修复与多专家集成学习的有效的两阶段方法，我们介绍了一种克服先前方法限制的方法，用于处理真实世界数据集中存在的噪声标签和类别不平衡问题，实验证实了我们的方法的优越性。

    Mar, 2024

  • 长尾数据的特征空间增强

    本文提出了一种新方法，通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别，从而解决长尾分布问题。通过使用类别激活映射，将每个类别的特征分解为类别通用和类别特定部分，并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合，实时生成新样本。结果表明，在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上，本文所提出的方法展现了最先进的表现水平。

    Aug, 2020

  • 长尾学习作为多目标优化

    通过多目标优化，我们提出一种梯度平衡聚类（GBG）策略，以应对现实世界数据中的类别不平衡和长尾分布问题，并在长尾学习中展现出比现有方法更优越的性能。

    Oct, 2023

  • 长尾识别中的子类平衡对比学习

    本文提出了一种新的 “子类平衡对比学习（SBCL）” 方法，通过在表示空间中对头类聚类，以捕捉头类和尾类之间的两层类层次结构，实现了实例和子类平衡，并通过在不同类之间的子类对比学习来学习原始类标签。

    Jun, 2023

  • 平衡还是不平衡：一种简单而有效的长尾分布学习方法

    本文提出了一个简单而有效的辅助学习方法，通过对神经网络进行分类器和特征提取器的拆分，并针对每个部分采用不同的训练策略，如采用类平衡采样方案来提高对尾部类别的重视，并通过自监督学习进一步提高性能，从而解决了类别不平衡问题。

    Dec, 2019