Apr, 2021

类平衡蒸馏在长尾视觉识别中的应用

PDF
TL;DR提出了一种新的框架 CBD，利用知识蒸馏增强特征表示，通过使用类平衡采样，第二阶段的训练使得特征表示能够在少数类上进化，可以自然的适用多个 Teachers，并在 ImageNet-LT，iNaturalist17 和 iNaturalist18 数据集上取得比现有技术更好的性能。
long-tailed visual recognitionfeature representationsclass-balanced samplingcbdknowledge distillation
发现论文，激发创造
  • 长尾识别的表示与分类器解耦

    本研究中，我们解耦学习过程，系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明，数据不平衡在学习高质量表示方面可能不是问题，在使用最简单的实例平衡抽样进行学习表示的情况下，只需调整分类器就能实现强大的长尾识别能力，甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。

    Oct, 2019

  • 长尾学习中的平衡知识蒸馏

    提出了一种平衡知识蒸馏（BKD）框架，通过实例平衡分类损失和类平衡蒸馏损失的组合来训练学生模型，并成功地解决了长尾学习中模型在尾部类上的性能问题和在头部的性能问题之间的矛盾，使学生模型比教师模型有了显著的性能提升。

    Apr, 2021

  • 自我监督到蒸馏：长尾视觉识别

    本文提出了一种 Self Supervised 到 Distillation (SSD) 的概念简单却特别有效的多阶段训练方案，通过使用软标签，此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别，实验表明，我们的方法在几个长尾识别基准上均取得了最先进的结果。

    Sep, 2021

  • 从不平衡中构建平衡：长尾图像识别

    本文提出了一种新的解决长尾图像识别中头尾偏差问题的方法，通过调整标签空间来平衡数据，从而提高分类性能。实验证明该方法可应用于多种模型，并为长尾特征学习提供了思路。

    Aug, 2022

  • 面向长尾视觉识别的平衡对比学习

    本研究提出一种适用于长尾数据的平衡对比学习方法 (BCL)，通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式，使分类器实现更好的优化，并在多个长尾数据集上超过了现有竞争对手 (ClFAR-10-LT,CIFAR-100-LT, ImageNet-LT, 以及 iNaturalist2018)

    Jul, 2022

  • 面向长尾视觉识别的特征平衡损失

    本文提出了通过使用平衡的特征损失，通过课程学习来加强长尾类别的激励，强化尾部类别的特征规范，从而提高了长尾问题的性能，并在多个受欢迎的长尾识别基准上实现了优越的性能增益。

    May, 2023

  • 长尾识别中的新型类别发现

    基于等角原型表示的自适应自标记策略，通过解决弛化的最优传输问题，更有效地发现不平衡的新类别，从而有效减轻已知和新类别学习中的偏差，并在 CIFAR100、ImageNet100、Herbarium19 和大规模 iNaturalist18 数据集上取得了卓越的结果。

    Aug, 2023

  • 深度长尾学习综述

    本文系统总结了深度长尾学习的最新进展，围绕着类别再平衡、信息增强和模块改进三个主要类别对相关方法进行详细探讨，并通过提出的相对准确度评估指标对最先进的方法进行了实证分析，为深度长尾学习的应用和未来研究方向提供了重要的参考。

    Oct, 2021

  • 平衡还是不平衡：一种简单而有效的长尾分布学习方法

    本文提出了一个简单而有效的辅助学习方法，通过对神经网络进行分类器和特征提取器的拆分，并针对每个部分采用不同的训练策略，如采用类平衡采样方案来提高对尾部类别的重视，并通过自监督学习进一步提高性能，从而解决了类别不平衡问题。

    Dec, 2019

  • 从域自适应的角度重新思考针对长尾视觉识别的类别平衡方法

    本文从领域自适应的角度分析了分类中长尾类别分布的问题，提出了基于元学习的显式估计类别条件分布差异的方案，并在六个基准数据集和三个损失函数上进行了验证。

    Mar, 2020