本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

Jul, 2022

本文介绍了一种可扩展的永久强化学习方法，采用 Dirichlet 过程混合模型对不稳定的任务分配进行建模，使用贝叶斯方法和 EM 算法对模型进行动态更新扩展，同时使用域随机化训练鲁棒性先验参数以使得模型可以更好地泛化和适应未知任务，并在导航和运动领域进行的实验展示了我们的方法成功实现了可扩展的终身 RL，并优于相关现有方法。

May, 2022

近期的数据驱动任务导向对话系统在增量学习方面存在计算约束和耗时的问题，而连续学习试图通过避免密集的预训练来解决此问题，但它面临的问题是灾难性遗忘。本文提出了 Dirichlet 连续学习（DCL），这是一种新颖的基于生成的排练策略，用于连续学习。与传统上在条件变分自编码器（CVAE）中使用的高斯潜变量不同，DCL 利用 Dirichlet 分布的灵活性和多功能性来建模潜在先验变量。这使得它能够有效地捕捉先前任务的句子级特征并有效地指导伪样本的生成。此外，我们介绍了 Jensen-Shannon 知识蒸馏（JSKD），一种强大的基于逻辑的知识蒸馏方法，在伪样本生成期间增强了知识传递。我们的实验证实了我们方法在意图检测和槽填充任务上的有效性，并且胜过了最先进的方法。

Sep, 2023

该研究针对稳定数据的连续学习模型，提出了一种混合高斯模型的端到端融合方法，并在内部空间进行联合优化和调整，同时证明了该模型在基于图像分类问题上的竞争力。

Jul, 2023

本文通过理论分析计算模型估计生成的随机分布与目标数据分布之间的差异距离，推导了生命周期学习模型的风险范围，提出了新的生命周期学习方法 Lifelong Infinite Mixture（LIMix）模型，通过门控机制自适应地扩展其网络结构以适应新任务，并累积跨域表示进行快速推理。

Aug, 2021

该论文提出了一种基于在线模型的强化学习方法，用于解决未知任务边界的特定问题，在处理非静态任务分布变化方面表现优异。

Jun, 2020

深度神经网络在真实世界中经常面临着分布漂移、各种类型的噪声和概念目标的变化。本文提出了一个适应连续学习数据分布漂移的框架，通过贝叶斯推断中的不确定性量化来缓解灾难性遗忘问题。通过优化一个闭式 ELBO 目标，通过传播分布的前两个矩阵（均值和协方差）来近似预测分布，我们将灾难性遗忘问题降至最低。

Aug, 2023

本研究评估扩散模型的连续学习特性，通过给 Denoising Diffusion Probabilistic Models （DDPMs）应用经验重放，发现一定程度的遗忘可以被减少，但在扩散步数上，其表现多种多样。同时揭示使用 bits-per-dimension 指标评估 CL 时的某些问题。

Mar, 2023

该论文研究了在持续学习环境下的对话生成，并提出了一种新的方法，使用 Text-Mixup 作为数据增强以避免模型在重播记忆上过拟合，同时利用 Batch-Nuclear Norm Maximization（BNNM）来减轻模式坍塌问题。实验证明，我们的方法在持续学习中优于现有的方法。

Mar, 2024

通过考虑未来样本和注入敌对扰动，我们提出了一种新的 TF-CL 框架，并通过在输入数据和决策过程中注入敌对扰动的方法实现了这一框架，通过采用记忆管理方案和学习率调度进一步提高性能。

Dec, 2023