本论文研究了如何在实际的客服对话场景中，生成自然流畅的语言回应和正确的外部操作指令，使用了序列到序列模型并采用了近邻基于嵌入空间的方法，在确保对话连贯性、生成准确的外部操作指令的同时，显著提高了回应的流利程度和准确性。

Apr, 2018

对预训练模型RoBERTa进行110种中介-目标任务组合的大规模研究，发现需要高级推理和推理能力的中介任务最好。目标任务的表现与核心指代消解等高级能力密切相关，需要进一步研究广覆盖的评估基准。有证据表明，预训练过程中所学知识的遗忘可能限制了我们的分析，需要进一步研究这些情况下的迁移学习方法。

May, 2020

本篇论文中，作者针对自然语言生成在任务导向型对话系统中的应用，提出了一种连续学习的方法 ARPER（Adaptively Regularized Prioritized Exemplar Replay），通过回放优先历史样本和基于弹性权重整合的自适应正则化技术，有效地缓解了灾难性遗忘问题。在 MultiWoZ-2.0 数据集上的实验证明，ARPER 明显优于其他方法。

Oct, 2020

我们提出了STAR，这是一个包含127,833个话语和基于知识库的查询，涵盖13个领域，共5820个任务型对话的模式引导数据集，旨在促进任务和领域的迁移学习。此外，我们提出了一种可扩展的众包范例，用于收集与STAR质量相同的任意大的数据集。此外，我们引入了新颖的模式引导对话模型，通过对任务的明确描述将从已知的任务泛化到未知的任务，证明了这些模型的有效性，尤其是在任务和领域的零-shot推广方面。

Oct, 2020

本文提出了一个能够让我们通过时间添加新的领域和功能而不需要付出整个系统重新训练的任务导向对话系统的连续学习基准。我们在四个不同的设置下连续地学习了 37 个领域，包括意图识别、状态跟踪、自然语言生成和端到端。此外，我们实现并比较了多个已有的持续学习基线，并提出了一种简单而有效的基于残余适配器的结构方法。我们的实验证明，所提出的结构方法和简单的回放策略表现相当好，但是它们都比多任务学习基线表现差，后者将所有数据一次性展示出来，这表明对话系统的连续学习是一项具有挑战性的任务。此外，我们还揭示了在参数使用和内存大小方面不同连续学习方法之间的几个权衡，这对任务导向对话系统的设计非常重要。我们还发布了所提出的基准测试以及几个基线，以推动更多的研究方向。

Dec, 2020

本文描述了一种基于元学习的方法，通过选择性地从相关的对话任务数据中学习，使用少量的数据以及来自相关对话任务的数据来训练神经对话系统，从而显著提高了对话任务的准确性。

Oct, 2021

本文提出了一种连续的提示调整参数有效的框架，可避免对旧任务的遗忘并在任务之间实现知识转移，验证实验表明该方法在对话状态跟踪领域中具有有效性和高效性。

Mar, 2022

本论文研究了对话任务转移的方法和应用，提出了FETA：一种开放域对话中少样本任务转移指标的基准，通过分析132对源-目标任务之间的可转移性来创建基线，并报道了有价值的发现，例如大多数性能趋势是模型特定的，而跨越提取和多项选择任务的任务转移受益最大。

May, 2022

该论文提出了一种基于知识蒸馏的增量学习方法，利用未标记数据避免灾难性遗忘，该方法在公开基准测试中表现出显著的效果，能够保存已获取的知识，并对增量添加的任务获得良好的性能。

Feb, 2023

本文提出了一种针对任务序列的基准测试，旨在从持续学习和迁移学习的角度探讨如何快速适应新任务和模型微调策略。同时，提出了一种简单而有效的学习器，通过选择性策略初始化新模型并从过去的任务检查点中获得最大利用信息的能力。

Jul, 2023