鲁棒特征学习和全局方差驱动的分类器对齐：用于长尾类增量学习

Nov, 2023

鲁棒特征学习和全局方差驱动的分类器对齐：用于长尾类增量学习

Robust Feature Learning and Global Variance-Driven Classifier Alignment for Long-Tail Class Incremental Learning

Jayateja Kalla, Soma Biswas

TL;DR本研究介绍了一个两阶段的框架，旨在加强长尾类增量学习，使模型能够在逐步学习新类别的同时，减轻在长尾数据分布中可能出现的灾难性遗忘。该框架通过利用全局方差作为信息度量和第二阶段的类别原型，实现了分类器的对齐，从而有效捕捉类别属性，消除了数据平衡或额外层调整的需求。在第一阶段使用传统的类别增量学习损失函数的同时，该方法加入了混合类别以学习鲁棒的特征表示，确保更平滑的边界。该框架可以作为一个模块与任何类别增量学习方法无缝集成，有效处理长尾类增量学习场景。在 CIFAR-100 和 ImageNet-Subset 数据集上进行的大量实验证明了该方法的有效性，在各种长尾类增量学习设置中表现出了优越性。

Abstract

This paper introduces a two-stage framework designed to enhance long-tail class incremental learning, enabling the model to progressively learn new classes, while mitigating catastrophic forgetting in the context of long-tailed data distributions. Addressing the challenge posed by the

long-tail class incremental learning catastrophic forgetting class alignment global variance mixup classes

发现论文，激发创造

长尾类别增量学习

本文提出了两种长尾分布的增量学习场景，研究了在这两个场景下现有方法的表现，并提出了一种包含学习可调权重层的两阶段基线，用于减少由长尾分布引起的偏差，同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上，该方法表现卓越（最高平均增量精度提高 6.44 个百分点）。

Oct, 2022

全局和局部混合一致性累积学习用于长尾视觉识别

该论文提出了一种名为 GLMC 的训练策略，旨在解决长尾视觉识别中的特征提取器鲁棒性和分类器偏差问题，其中核心思想包括全局和局部混合一致性损失、累积头尾软标签权重损失等，该方法在多个数据集上达到了最新的准确度，并证明了其对提高邻近算法泛化的有效性。

May, 2023

长尾数据的特征空间增强

本文提出了一种新方法，通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别，从而解决长尾分布问题。通过使用类别激活映射，将每个类别的特征分解为类别通用和类别特定部分，并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合，实时生成新样本。结果表明，在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上，本文所提出的方法展现了最先进的表现水平。

Aug, 2020

长尾识别的表示与分类器解耦

本研究中，我们解耦学习过程，系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明，数据不平衡在学习高质量表示方面可能不是问题，在使用最简单的实例平衡抽样进行学习表示的情况下，只需调整分类器就能实现强大的长尾识别能力，甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。

Oct, 2019

学习分割尾部

该论文提出了一种 “分而治之” 的策略，即将整个数据划分为平衡的部分，并分别应用增量学习，以解决大规模长尾数据中出现的极端样本不平衡问题，从而推导出一种新的学习范式：类增量少样本学习。该论文通过设计实例级平衡重放方案和元模块，为实现新类学习与旧类知识复习中的类不平衡和少样本数据的挑战而努力。通过实验证明，该方法可以在牺牲一定头类遗忘的代价下，在少于 10 个实例的情况下显著提高 8.3％的 AP，从而为整个 1,230 个类别的模型提供 2.0％的 AP 提升。

Apr, 2020

基于几何先验引导的长尾分类特征表示学习

利用特征分布的几何信息来引导模型学习尾类的潜在分布，并且通过特征不确定性建模以提高模型在测试领域中的泛化性能。

Jan, 2024

TaE: 面向长尾类增量学习的任务感知可扩展表示

通过采用动态网络算法和中心点增强方法，提出一种任务感知可扩展的框架（Task-aware Expandable，TaE），用于解决长尾类增量学习问题，并在 CIFAR-100 和 ImageNet100 数据集上进行实验证明其能取得最先进的性能。

Feb, 2024

长尾识别的均匀分布类别原型引导视觉语言框架

研究论文提出了一种基于统一类别原型导向的视觉语言框架，用于有效缓解数据不平衡引起的特征空间偏差，并通过去除无关噪声文本和增强关键属性信息的模块提高模型的鲁棒性，同时通过类特征原型导向分类器解决学习分类器的正向偏差问题，从而在长尾学习中实现了比之前方法更优越的性能。

Aug, 2023

神经崩溃终点：类增量学习及其变种的统一解决方案

该论文提出了一种统一的解决方案，通过神经崩溃终局将分类增量学习、灾难性遗忘和数据不平衡与数据稀缺等问题融合在一起，并通过原型演化方案实现了对背景特征的平滑转变，从而在面临常规情况、长尾类增量学习和少样本类增量学习时实现了更好的学习能力。

Aug, 2023

面向广义长尾分类的不变特征学习

提出了一个新的研究问题：综合考虑类别和属性两个方面的不平衡问题，介绍了一种关于属性无关特征学习的强基线方法（IFL），并发现很多现有的类别不平衡方法在对抗属性级别上不如此方法表现的好。

Jul, 2022