DELTA：解耦长尾在线持续学习

CVPRApr, 2024

DELTA: Decoupling Long-Tailed Online Continual Learning

Siddeshwar Raghavan, Jiangpeng He, Fengqing Zhu

TL;DRDELTA 是一种增强学习表示、解决长尾在线连续学习中类别不平衡问题的分离式学习方法，通过适应性有监督对比学习吸引相似样本和排斥不相似（非类内）样本，平衡训练期间的梯度并通过等化损失显著提升学习结果，并成功缓解了灾难性遗忘，扩展了增量学习的能力，超越了现有的 OCL 方法，对实际应用具有重大的潜在价值。

Abstract

A significant challenge in achieving ubiquitous artificial intelligence is the limited ability of models to rapidly learn new information in real-world scenarios where data follows long-tailed distributions, all while avoiding forgetting previously acquired knowledge. In this work, we

artificial intelligence long-tailed online continual learning delta supervised contrastive learning incremental learning

发现论文，激发创造

从长尾分布中持续学习众多任务

该论文研究了具有大量任务的持续学习算法在长尾任务序列中的性能，并探讨了优化器状态作为提高持续学习性能的一种因素。通过维护来自先前任务的第二矩的加权平均，论文提出的方法有效减少遗忘，同时在现有的持续学习算法中取得改进。

Apr, 2024

持续学习是否能提高长尾识别？朝向一个统一框架

本文提出了解决长尾识别问题的两个重要方法：理论公式证明将全数据集训练的权重控制在同样训练头部数据的权重上限范围内；将头部和尾部的学习视为分开的顺序步骤，使用 Continual Learning 方法来有效地更新学习者的权重。作者在 CIFAR100-LT，CIFAR10-LT 和 Caltech-256 等数据集上执行的实验结果表明，Continual Learning 方法可以比 LTR 专用解决方案更有效地解决长尾识别问题。

Jun, 2023

极限内存约束下的在线连续学习

本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

Aug, 2020

长尾类别增量学习

本文提出了两种长尾分布的增量学习场景，研究了在这两个场景下现有方法的表现，并提出了一种包含学习可调权重层的两阶段基线，用于减少由长尾分布引起的偏差，同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上，该方法表现卓越（最高平均增量精度提高 6.44 个百分点）。

Oct, 2022

无存储约束的在线持续学习

本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

May, 2023

序列上的在线持续学习

本文总结并讨论了最近采用突触正则化、结构可塑性和经验重放等技术解决连续流式数据学习时的灾难性遗忘问题的深度学习方法，并通过实证表明，与不采用经验重放的架构相比，在在线增量学习任务中，带有经验重放的架构通常更具有优势。

Mar, 2020

通过删除负样例对抗在线单类增量学习

本研究探讨了超级在线连续学习设置，其中学习者接收随时间变化的类别分布的数据流。研究提出了一种一类增量学习设置的新方法，在 BYOL 自我监督学习方法的基础上引入额外的类原型规范化，以在单类别增量学习设置中实现强大的性能和与多类别增量学习设置中最优方法的竞争性能。

Mar, 2022

从一系列 API 中进行持续学习

本研究提出了一个新颖的无数据合作式继续蒸馏学习框架，通过生成伪数据从一系列 API 中提取知识，并利用网络相似性的新正则化项防止以前 API 的灾难性遗忘。在 DFCL-APIs 设置中，该方法与完整的原始数据上的经典 CL 表现相当，而在 DECL-APIs 设置中，该方法在 CIFAR10、CIFAR100 和 MiniImageNet 上分别达到经典 CL 表现的 0.97 倍、0.75 倍和 0.69 倍。

Aug, 2023

在线原型学习用于在线连续学习

在线连续学习中，通过在单通数据流中不断学习新数据并减轻灾难性遗忘的问题，本文分析了在新的学习任务中为何在线学习模型无法很好地泛化的快捷学习，然后提出了在线原型学习框架（OnPro），通过在线原型平衡和自适应原型反馈机制，达到良好分离所有已见类别、学习新类别的平衡状态，并在广泛使用的基准数据集上通过实验证明了 OnPro 相对于最先进的基准方法的卓越性能。

Aug, 2023

长尾识别中有效的协作学习

该论文研究类别不平衡问题，提出基于比较两个分类器预测结果的重新加权蒸馏损失，以改善专家之间的知识转移不平衡问题，并结合对比代理任务支路实现特征质量的进一步提升，实验表明所构建模型达到了最优性能。

May, 2023