ECCVOct, 2022

长尾类别增量学习

PDF
TL;DR本文提出了两种长尾分布的增量学习场景，研究了在这两个场景下现有方法的表现，并提出了一种包含学习可调权重层的两阶段基线，用于减少由长尾分布引起的偏差，同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上，该方法表现卓越（最高平均增量精度提高 6.44 个百分点）。
class-incremental learninglong-tailed distributionsequential learningweight-scaling layerbias reduction
发现论文，激发创造
  • TaE: 面向长尾类增量学习的任务感知可扩展表示

    通过采用动态网络算法和中心点增强方法，提出一种任务感知可扩展的框架（Task-aware Expandable，TaE），用于解决长尾类增量学习问题，并在 CIFAR-100 和 ImageNet100 数据集上进行实验证明其能取得最先进的性能。

    Feb, 2024

  • 鲁棒特征学习和全局方差驱动的分类器对齐：用于长尾类增量学习

    本研究介绍了一个两阶段的框架，旨在加强长尾类增量学习，使模型能够在逐步学习新类别的同时，减轻在长尾数据分布中可能出现的灾难性遗忘。该框架通过利用全局方差作为信息度量和第二阶段的类别原型，实现了分类器的对齐，从而有效捕捉类别属性，消除了数据平衡或额外层调整的需求。在第一阶段使用传统的类别增量学习损失函数的同时，该方法加入了混合类别以学习鲁棒的特征表示，确保更平滑的边界。该框架可以作为一个模块与任何类别增量学习方法无缝集成，有效处理长尾类增量学习场景。在 CIFAR-100 和 ImageNet-Subset 数据集上进行的大量实验证明了该方法的有效性，在各种长尾类增量学习设置中表现出了优越性。

    Nov, 2023

  • 长尾分类的类实例平衡学习

    该研究提出了一种新的类实例平衡损失 (CIBL) 方法，以在训练数据的类频率不平衡时，通过重新平衡交叉熵损失和对比损失的相对贡献来获得更平衡的性能表现，并且通过使用余弦分类器，可以在更少的 epochs 中获得类似的性能表现。

    Jul, 2023

  • 面向广义长尾分类的不变特征学习

    提出了一个新的研究问题：综合考虑类别和属性两个方面的不平衡问题，介绍了一种关于属性无关特征学习的强基线方法（IFL），并发现很多现有的类别不平衡方法在对抗属性级别上不如此方法表现的好。

    Jul, 2022

  • 持续学习是否能提高长尾识别？朝向一个统一框架

    本文提出了解决长尾识别问题的两个重要方法：理论公式证明将全数据集训练的权重控制在同样训练头部数据的权重上限范围内；将头部和尾部的学习视为分开的顺序步骤，使用 Continual Learning 方法来有效地更新学习者的权重。作者在 CIFAR100-LT，CIFAR10-LT 和 Caltech-256 等数据集上执行的实验结果表明，Continual Learning 方法可以比 LTR 专用解决方案更有效地解决长尾识别问题。

    Jun, 2023

  • 强预训练模型实现类别增量学习

    在大规模的 ImageNet 数据集上，我们探索了一种从已经训练好的模型中增量学习的方法，通过二阶段训练方案，融合与增强，我们的方法比现有的方法在准确率上提高了 10%。

    Apr, 2022

  • 深度长尾学习综述

    本文系统总结了深度长尾学习的最新进展，围绕着类别再平衡、信息增强和模块改进三个主要类别对相关方法进行详细探讨，并通过提出的相对准确度评估指标对最先进的方法进行了实证分析，为深度长尾学习的应用和未来研究方向提供了重要的参考。

    Oct, 2021

  • 无范例的类渐进学习初始训练策略分析

    类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

    Aug, 2023

  • 不完美环境下的学习：长尾分布和部分标签的多标签分类

    本文介绍了一种新颖的任务，即 Partial labeling and Long-Tailed Multi-Label Classification（PLT-MLC），并提出了一种端到端的学习框架 CO-MIC-Balance（Correction，Modification，Balance），用于同时解决长尾分布和部分标签的多标签分类问题，该框架通过比较预测置信度和类特定阈值来修正丢失的标签，使用多聚焦的修饰符损失来同时解决头部尾部不平衡和正负不平衡，并使用平衡分类器来保持所有样本的稳定性。实验结果表明，该方法在新创建的 PLT-MLC 数据集上具有更高的有效性和鲁棒性。

    Apr, 2023

  • 基于似然比的任务预测的类增量学习

    在连续学习中，对于每个测试样本预测任务标识符是一个具有挑战性的问题。本文提出了一种新的方法 TPLR（基于似然比的任务标识符预测），该方法利用了连续学习中的额外信息，显著优于强对比模型。

    Sep, 2023