近期的数据驱动任务导向对话系统在增量学习方面存在计算约束和耗时的问题，而连续学习试图通过避免密集的预训练来解决此问题，但它面临的问题是灾难性遗忘。本文提出了 Dirichlet 连续学习（DCL），这是一种新颖的基于生成的排练策略，用于连续学习。与传统上在条件变分自编码器（CVAE）中使用的高斯潜变量不同，DCL 利用 Dirichlet 分布的灵活性和多功能性来建模潜在先验变量。这使得它能够有效地捕捉先前任务的句子级特征并有效地指导伪样本的生成。此外，我们介绍了 Jensen-Shannon 知识蒸馏（JSKD），一种强大的基于逻辑的知识蒸馏方法，在伪样本生成期间增强了知识传递。我们的实验证实了我们方法在意图检测和槽填充任务上的有效性，并且胜过了最先进的方法。

Sep, 2023

本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。

Jan, 2022

利用残差变分自编码器（RVAE）将不同任务映射为有限的统一语义空间，系统地提出一种新的方法 —— 交替差分训练，以解决 LLMOL 遗忘的问题，并通过对 DecaNLP 三个数据集的排列进行实验，证明 RVAE-LAMOL 优于单纯的 LAMOL，并生成更有意义的伪样本。

May, 2022

在连续学习中，我们提出了 Prompt-based Continual Learning（LGCL）作为 Prompt-based 方法的插件，引入了任务级别和类别级别的语言引导，并通过广泛的实验表明，LGCL 能够持续提高 Prompt-based 连续学习方法的性能，实现了新的技术水平。此外，LGCL 还不需要额外的可学习参数。

Aug, 2023

本文研究了生成模型中的终身学习问题，提出了一种使用知识蒸馏的解决方案，可以在保持之前任务能力不变的同时完成新的任务，该方法适用于不同的有条件图像生成设置。

Jul, 2019

本论文提出了一种新颖的终身学习方法 L-VAEGAN，它不仅具有强大的生成重放网络，还学习有意义的潜在表征，并能够自动将与不同领域相关的信息嵌入到潜在空间的多个聚类中，捕获不同数据域之间的语义相关的共享潜在变量，支持许多传统的生成重放方法所不支持的下游任务，包括不同数据域之间的内插和推理。

Jul, 2020

本研究提出了一种名为 Review Learning 的深度学习连续学习技术，使用神经突触权重中存储的记忆信息生成数据样本，并避免了在数据集转移学习中出现的灾难性遗忘现象，从而在保护数据隐私的前提下，提高了模型的性能表现。在使用三类二分类电子病历数据进行仿真和真实医疗多机构实验验证后，本文表明 Review Learning 能够高效保留之前学习的知识。

Oct, 2022

在严格的条件下，通过使用生成回放、模型大小控制、时态正则化等方法，本研究提出了一种脑启发式的持续学习方法，以解决累积学习中遗忘问题，并在重要基准测试中取得了较好的实验结果。

Oct, 2023

RECALL 是一种重播增强方法，通过自适应规范化和旧任务的策略蒸馏，在新任务上增强普适性和稳定性，从而显著改善持续强化学习中灾难性遗忘的问题。在 Continual World 基准测试中，RECALL 的性能明显优于纯粹的完美记忆重播，与最先进的持续学习方法相比，整体性能相当甚至更好。

Nov, 2023

本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

Sep, 2018