Jan, 2019

基于有效样本数的类别平衡损失

PDF
TL;DR研究长尾数据在机器学习任务中的问题，并提出了使用 “有效样本数” 改进重新权重计算的类平衡损失方法来提高对长尾数据集的训练效果。在人工合成的长尾 CIFAR 数据集和大规模数据集 ImageNet 和 iNaturalist 上进行了全面的实验，并证明该方法能够显著提高长尾数据集上的网络表现。
long-tailed data distributionclass re-balancing strategieseffective number of samplesre-weighting schemeclass-balanced loss
发现论文，激发创造
  • 平衡还是不平衡：一种简单而有效的长尾分布学习方法

    本文提出了一个简单而有效的辅助学习方法，通过对神经网络进行分类器和特征提取器的拆分，并针对每个部分采用不同的训练策略，如采用类平衡采样方案来提高对尾部类别的重视，并通过自监督学习进一步提高性能，从而解决了类别不平衡问题。

    Dec, 2019

  • 长尾学习的分布鲁棒性损失

    本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。

    Apr, 2021

  • 长尾数据的特征空间增强

    本文提出了一种新方法，通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别，从而解决长尾分布问题。通过使用类别激活映射，将每个类别的特征分解为类别通用和类别特定部分，并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合，实时生成新样本。结果表明，在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上，本文所提出的方法展现了最先进的表现水平。

    Aug, 2020

  • 面向长尾视觉识别的特征平衡损失

    本文提出了通过使用平衡的特征损失，通过课程学习来加强长尾类别的激励，强化尾部类别的特征规范，从而提高了长尾问题的性能，并在多个受欢迎的长尾识别基准上实现了优越的性能增益。

    May, 2023

  • 探索长尾识别问题中的权重平衡

    研究了一种针对长尾数据的方法，基于权重平衡和两阶段训练结合的经典正则化技术，通过分析神经崩溃和锥效应，发现该方法是通过权重衰减和交叉熵损失以及类平衡损失调整的隐式 logit 方法增加特征提取器的 Fisher 判别比率。研究表明，通过将训练阶段的数量减少到一个并提高准确性，可以进一步简化训练方法。

    May, 2023

  • 长尾数据集中多标签分类的分布平衡损失

    本文提出了一种称为分布平衡损失函数的新方法，用于解决多标签识别问题中遇到的长尾类分布、标签共现和负标签占主导的问题，并通过实验验证了该方法的有效性。

    Jul, 2020

  • 长尾类分布的多标签文本分类平衡方法

    研究了在多标签文本分类中应用分布平衡损失函数的有效性，结果表明分布平衡损失函数优于常用的损失函数，尤其是在类别不平衡和标签耦合问题同时存在时。

    Sep, 2021

  • 长尾识别的表示与分类器解耦

    本研究中，我们解耦学习过程，系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明，数据不平衡在学习高质量表示方面可能不是问题，在使用最简单的实例平衡抽样进行学习表示的情况下，只需调整分类器就能实现强大的长尾识别能力，甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。

    Oct, 2019

  • 基于类别难度的长尾视觉识别方法

    该研究旨在解决长尾型样本数据集中头部类别的偏差问题。通过设计一种基于实时测量类别难度的加权损失函数和数据采样技术来缓解偏差，并在多项任务上进行验证，包括图像分类、目标检测、实例分割和视频动作分类。在 ImageNet-LT、LVIS 和 EGTEA 等长尾型数据集上实现了最先进的效果。

    Jul, 2022

  • 类平衡蒸馏在长尾视觉识别中的应用

    提出了一种新的框架 CBD，利用知识蒸馏增强特征表示，通过使用类平衡采样，第二阶段的训练使得特征表示能够在少数类上进化，可以自然的适用多个 Teachers，并在 ImageNet-LT，iNaturalist17 和 iNaturalist18 数据集上取得比现有技术更好的性能。

    Apr, 2021