本研究提出一种解决任务型对话系统中曝光偏差问题的方法，通过采用会话级别的采样和基于 dropout 的一致性正则化来提高模型的鲁棒性和性能， 并在 MultiWOZ 基准测试上取得了最先进的性能。

Sep, 2022

本文提出了一种以 GPT-2 模型为基础，利用目标状态追踪的生成式用户模拟器（GUS）来解决用户模拟器训练时遇到的挑战，并在 MultiWOZ2.1 数据集上通过交叉模型评估、基于语料库的评估和人类评估等方法对训练出的多个对话系统进行对比，证明了 GUS 在三个评估任务中的表现均优于基于议程的用户模拟器（ABUS）和其他削减模拟器。

Oct, 2022

本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

Jan, 2022

本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

Apr, 2020

本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层 Transformer 架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于 PLM 的对话模型，在三个多轮对话数据集上进行实验证明，相比于 BART 和 DialoGPT，DialogBERT 在定量评估方面表现出色，并且在人类评估中证明，DialogBERT 比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

Dec, 2020

本文提出了一种名为 VU-BERT 图文联合嵌入的框架，通过用 patch projection 获取视觉嵌入来简化模型，从而解决了现有研究中用于建模交互的具有特定模态的模块难以使用的问题，并在可视对话任务上取得了较高的竞争性表现。

Feb, 2022

本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

Jul, 2019

本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

Aug, 2021

本研究首次探讨了使用在线增强学习的基于 GPT-2 的对话系统和端到端用户模拟器，并提出了简化的生成架构作为 DS 和 US 的模型，使用缩短的历史，同时展示了 SGA-JRUD 模型在离线和在线评估中的优异表现。

Oct, 2022

该研究提出了 UBERT 模型，基于 BERT 框架，可以通过双向仿射网络对不同自然语言理解任务的训练对象进行普遍建模，并通过模型得分来实现各种分类和提取结构的通用、跨任务的语义理解。在 2022 年 AIWIN - 世界人工智能创新大赛中国保险小样本多任务跟踪中获得一等奖，并实现了广泛的信息提取和语言推理任务的统一。

Jun, 2022