本文介绍了一种可扩展的永久强化学习方法，采用 Dirichlet 过程混合模型对不稳定的任务分配进行建模，使用贝叶斯方法和 EM 算法对模型进行动态更新扩展，同时使用域随机化训练鲁棒性先验参数以使得模型可以更好地泛化和适应未知任务，并在导航和运动领域进行的实验展示了我们的方法成功实现了可扩展的终身 RL，并优于相关现有方法。

May, 2022

该论文提出了 Continual Neural Dirichlet Process Mixture (CN-DPM) 模型，并基于该模型提出了基于扩展方法的无任务连续学习方法，成功地将其应用于图像分类和图像生成等区别性和生成性任务的场景中。

Jan, 2020

本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

May, 2017

通过整合来自目标时间序列的多个预测结果，本文介绍了一种基于狄利克雷过程的深度学习集成预测模型。该方法通过单一训练过程生成所需的基学习器，并利用权重调整和多样性策略来进行组合，从而在预测精度和稳定性上相比于单一基准模型有显著提升。

Nov, 2023

本文提出了一种用于神经主题建模的终身学习框架，可以连续处理文档集流并通过从多个来源的知识转移积累主题，以更好地处理稀疏数据，并通过新的选择性数据增强、共同训练和主题正则化方法来最小化灾难性遗忘，作者通过建模三个稀疏的文档集任务进行证明其提出的终身神经主题建模（LNTM）框架具有改良的表现。

Jun, 2020

本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

Jul, 2022

通过 L2DM 框架，本文研究了文本到图像生成模型中的知识遗忘和语义忽视问题，通过任务感知内存增强模块、弹性概念精馏模块、概念关注艺术家模块和正交关注模块，生成更准确、更忠实的图像。

Sep, 2023

提出一种适用于在线聚类和参数估计的低复杂度的序列推理过程，通过更新超参数并使用共轭先验假设，提出了易于计算的条件似然函数的闭形式参数化表达式和 Dirichlet 过程的自适应低复杂度设计。实验结果表明该方法优于其他在线最先进的方法。

Sep, 2014

本文提出了 Lifelong-MoE，一种基于扩展的 MoE（Expansive Mixture-of-Experts）架构的 Lifelong Learning 方法，其具有更好的 few-shot 性能，可以对大规模语料进行更好的预训练，适应不同的下游任务。

May, 2023

大语言模型（LLMs）中的终身学习可以不断地适应和学习新知识，并通过持续预训练、持续微调和模型扩展等技术来提高模型的适应性和性能。

Jun, 2024