通过在线差异距离学习实现无任务持续学习

Oct, 2022

通过在线差异距离学习实现无任务持续学习

Task-Free Continual Learning via Online Discrepancy Distance Learning

Fei Ye, Adrian G. Bors

TL;DR本文提出了一种新的理论分析框架，给出了基于任务自由连续学习中访问样本与整个信息之间差异距离的归纳界限，并提出了使用动态组件扩展机制的新方法 - ODDL，以保证具有最佳性能的紧凑网络结构，同时提出了一种基于差异度量的样本选择方法，通过提高性能证明了该方法的卓越表现。

Abstract

Learning from non-stationary data streams, also called Task-Free Continual Learning (TFCL) remains challenging due to the absence of explicit task information. Although recently some methods have been proposed for TFCL, they lack theoretical guarantees. Moreover, forgetting analysis during TFCL was not studied theoretically before. This paper develops a new

task-free continual learning generalization bounds online discrepancy distance learning memory buffer performance

发现论文，激发创造

学习一种进化的混合模型用于任务自由的连续学习

本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

Jul, 2022

双重扰动的无任务持续学习

通过考虑未来样本和注入敌对扰动，我们提出了一种新的 TF-CL 框架，并通过在输入数据和决策过程中注入敌对扰动的方法实现了这一框架，通过采用记忆管理方案和学习率调度进一步提高性能。

Dec, 2023

跨类别分布偏移对连续学习中遗忘的影响

本文发现连续学习（CL）中的一种特殊的灾难性遗忘 —— 分布偏移遗忘（OODF），特别影响 CL 方法对类别的识别准确度，并强调开发克服 OODF 风险的方法是非常重要的。

Jun, 2023

极限内存约束下的在线连续学习

本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

Aug, 2020

DELTA：解耦长尾在线持续学习

DELTA 是一种增强学习表示、解决长尾在线连续学习中类别不平衡问题的分离式学习方法，通过适应性有监督对比学习吸引相似样本和排斥不相似（非类内）样本，平衡训练期间的梯度并通过等化损失显著提升学习结果，并成功缓解了灾难性遗忘，扩展了增量学习的能力，超越了现有的 OCL 方法，对实际应用具有重大的潜在价值。

Apr, 2024

在在线连续学习中处理跨任务类别歧视

本文提出了一个新的优化目标和基于梯度调整方法的动态训练偏差方法，以解决回放方法在在线连续学习过程中的动态训练偏差问题，并在实验中取得了更好的结果，以解决跨任务类别辨别问题。

May, 2023

克服在线连续学习中的领域漂移

本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

May, 2024

在连续学习中利用测试时间数据控制遗忘

通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

Jun, 2024

联邦连续学习在线进行：利用不确定性进行模态无关的类增量学习

通过基于 Bregman 信息的估计器计算模型的方差，在预测不确定性的度量下，我们能够找到具有特定特征的样本，并通过对这些样本进行模型重训练来减少现实情境中的遗忘效应。

May, 2024

解决不间断学习问题的理论研究

研究表明，类增量学习 (CIL) 的问题可以分解为两个子问题：任务内预测 (WP) 和任务 ID 预测 (TP)，其中 TP 与分布外检测 (OOD) 相关联。该研究的关键结论是，无论是否通过 CIL 算法显式或隐式定义 WP 和 TP 或 OOD 检测，优秀的 WP 和 TP 或 OOD 检测都对于良好的 CIL 表现是必要且充分的，其中 TIL 就是 WP。基于理论结果，还设计了新的 CIL 方法，其在 CIL 和 TIL 两个设置中性能均优于强基线。

Nov, 2022