该论文研究了在持续学习环境下的对话生成，并提出了一种新的方法，使用 Text-Mixup 作为数据增强以避免模型在重播记忆上过拟合，同时利用 Batch-Nuclear Norm Maximization（BNNM）来减轻模式坍塌问题。实验证明，我们的方法在持续学习中优于现有的方法。

Mar, 2024

本综述全面回顾了自然语言处理领域中持续学习的最新进展，包括现有技术的分类、遗忘和知识迁移问题、未来发展方向。

Nov, 2022

本文介绍了一种基于最新的神经网络连续学习技术的领域无关的神经对话模型，同时提出了一种新颖的神经连续学习算法，能够以数据 - 效率的方式跨越不同任务积累技能，在客户支持领域通过从合成对话或人类之间的对话到人 - 计算机对话的连续技能转移来验证方法的功效。

Dec, 2017

本文探讨了在低资源环境下生成新场景的句子，提出了基于元学习的通用优化方法（Meta-NLG）来解决这个问题，并在大型多域数据集上进行了实验，表明 Meta-NLG 在各种低资源配置中显著优于其他训练过程，适应低资源情况极快且良好。

May, 2019

本文通过探讨 NLP 中的各种任务，分析了现有神经网络模型中的 CL 问题，并对现有的 CL 评估方法和数据集进行了批判性评论，最后展望了未来的研究方向。

Dec, 2020

本文提出了一个能够让我们通过时间添加新的领域和功能而不需要付出整个系统重新训练的任务导向对话系统的连续学习基准。我们在四个不同的设置下连续地学习了 37 个领域，包括意图识别、状态跟踪、自然语言生成和端到端。此外，我们实现并比较了多个已有的持续学习基线，并提出了一种简单而有效的基于残余适配器的结构方法。我们的实验证明，所提出的结构方法和简单的回放策略表现相当好，但是它们都比多任务学习基线表现差，后者将所有数据一次性展示出来，这表明对话系统的连续学习是一项具有挑战性的任务。此外，我们还揭示了在参数使用和内存大小方面不同连续学习方法之间的几个权衡，这对任务导向对话系统的设计非常重要。我们还发布了所提出的基准测试以及几个基线，以推动更多的研究方向。

Dec, 2020

本文提出了一种称为自然连续学习（NCL）的新方法，该方法统一了权重正则化和投影梯度下降。NCL 使用贝叶斯权重正则化来鼓励在收敛时所有任务的良好表现，并结合使用先验精度的梯度投影，从而防止优化过程中的灾难性遗忘。我们的方法在前馈神经网络和循环神经网络中应用于连续学习问题时，优于标准权重正则化技术和基于投影的方法。最后，训练的网络在学习新任务时演变出特定于任务的动力学，与生物电路的实验结果类似。

Jun, 2021

本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

Sep, 2018

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

提出了一种基于神经网络框架的分层学习方法，通过监督学习和强化学习相结合，实现了对话管理任务中的有效性以及在高噪声的情况下提高性能。

Jun, 2016