为了训练自然对话模型，作者创建了一个新的包含电影聊天信息和相关背景知识的数据集，并使用三种不同的模型对这个数据集进行了基准测试。

Sep, 2018

在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用1/8的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

Feb, 2020

本文描述利用预训练语言模型及粗层次知识信息进行基于任务的对话建模，实现对话历史和知识访问的响应生成，并在模型最终输出的基础上进行后处理策略以进一步提升知识应用，在客观指标下获得第二名，在人类指标下获得第四名的实验结果。

Dec, 2020

提出了基于文档结构的知识识别模型，以提供对话语境下的段落编码，更好地定位与对话相关的知识。辅助损失捕捉了对话-文档连接的历史。在两个文档为基础的对话数据集上展示了模型的有效性，并提供了分析结果，表明其可以泛化到未见过的文档和长对话上下文。

Sep, 2021

本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

Mar, 2022

这篇论文介绍了 GODEL（Grounded Open Dialogue Language Model），它是一种大型预训练语言模型，用于对话。与以前的模型相比，GODEL 利用了一种新的基于 Grounded 的预训练方法，以更好地支持适应广泛的下游对话任务。实验表明，GODEL 在少样本 Fine-tuning 方式下表现优异，具备更好的实用性和信息传达特征。

Jun, 2022

本文旨在构建一个具有鲁棒性的口语对话系统，通过引入未结构化的外部知识和采用数据构建、加权负采样、后训练以及风格转换等四种高级方法，完成了DSTC10-Track2-Task2的任务，实验表明我们的模型在客观评估中排名第7，人工评估中排名第6。

Sep, 2022

本文提出了一种模型，通过Bayes定理将其分解为两个部分，其中一个是传统的非基础回应生成模型，另一个是基于对话上下文和生成的回应重建基础文档的模型。我们提出了不同的近似解码方案，并在多个开放域和面向任务的基础对话数据集上评估我们的方法，实验表明该模型在自动事实度指标方面比基线模型更为准确。此外，我们概述了如何介绍组件之间的缩放因子以控制模型输出中的事实度和流畅性之间的权衡。最后，我们将我们的方法与最近提出的用于控制基础对话中事实度的方法CTRL进行了比较，并表明这两种方法可以结合起来实现额外的改进。

Oct, 2022

在对话生成领域，我们提出了一种基于关键词引导的自监督预训练方法(KPT)，该方法可以从对话数据中抽取关键词并构建两种不同的知识，以处理基于知识的生成任务，如对话行为，知识图谱和个人描述等。实验结果表明，KPT在此类任务中具有优异的表现。

Dec, 2022

本文总结了我们在第9和10个对话系统技术挑战赛（DSTC9和DSTC10）的文档驱动对话任务中的贡献，包括知识选择，数据增强，响应生成和评估指标等领域。

Apr, 2023