在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

Feb, 2020

我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

Oct, 2020

本文针对神经网络模型生成内容不足的对话应用展开了研究，提出了一种全新的、基于数据和知识驱动的神经对话模型，该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应，实验证明该方法在开放领域中具有广泛应用前景，相较于基线模型的 Seq2Seq 方法，能够显著提高输出的信息量。

Feb, 2017

PLUG 是一个预训练的语言模型，可以将异构知识源同化为一个统一的知识表示，从而提高知识引导型对话生成任务的泛化能力。该模型可以通过少量的训练样本实现不同下游知识引导型对话生成任务的泛化，且在零样本和少样本场景中表现显著优异。

Dec, 2021

本研究提出一种多阶段提示方法，利用单个预训练语言模型生成知识响应，并通过对话上下文和先前生成的知识生成响应，其产生的响应知识性和参与度出色于微调对话模型。

Mar, 2022

基于对话文本和外部知识的知识驱动对话系统面临实际应用中各种噪声干扰，为提高系统鲁棒性，我们提出了一种基于实体对比学习的框架，通过引入两种类型的干扰样本，使得模型在真实应用中能够生成具有信息性的回应，实验证明该方法在三个基准数据集上实现了最新的性能提升，并在噪声和少样本场景下胜过其他模型。

Jan, 2024

本研究提出一种基于变分方法的分段生成模型，使用两个序列潜状态变量分别表示响应的结构和内容风格，以探索响应中的隐含知识表达模式，并在两个基准测试中获得较好的评估结果。

Apr, 2022

本文提出了一种新的知识感知对话生成模型，称为 TransDG，该模型将知识库问答（KBQA）任务的问题表示和知识匹配能力转移到生成对话的内在理解和事实知识选择中。我们采用了一种响应引导注意力和多步解码策略的方法，以引导模型集中于生成相关的特征。在两个基准数据集上的实验证明，我们的模型在生成信息全面和流畅的对话方面具有稳健的优越性。

Dec, 2019

通过将转换器模型与知识表示相关联，本论文研究了自然语言理解和生成的效果，并回答了以下关键研究问题：(i) 实体知识是否能够超越实体链接等实体为中心的任务，并带来更多的好处？(ii) 如何从原始文本中准确有效地提取这种结构化知识，尤其是嘈杂的网络文本？(iii) 除了结构化知识，其他类型的知识如何对改进自然语言处理任务有所贡献？研究表明，引入相关和最新的实体知识有助于虚假新闻检测，而面向实体的语言转换显著提高了零样本跨语言迁移的效果。在提取结构化知识方面，将负面样本整合和与实体规划一起训练显著提高了性能。此外，研究还发现，其他一般形式的知识，如参数化知识和精炼知识，有助于多模态和多语言知识密集型任务。这项研究展示了多元知识整合的实际好处，并鼓励在这个方向上进一步探索。

Mar, 2024

本文提出了一种基于外部编码的对话状态跟踪方法，通过查询相关知识以基于对话上下文信息来预测对话状态，证明在一些场景下，我们的方法比基线表现更优秀，尤其是在少样本学习情况下。

Oct, 2022