我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

Oct, 2020

在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

Feb, 2020

本研究提出了一种基于 encoder-decoder transformer 的知识注入预训练语言模型 K-PLUG，利用五种知识感知的自我监督预训练目标，包括电子商务领域特定知识库、产品实体的方面、产品实体的类别和产品实体的独特卖点，有效地为语言理解和生成任务学习了各种领域特定知识，并在包括产品知识库完成、摘要产品总结和多次对话等领域特定 NLP 任务中达到了新的最佳性能。

Apr, 2021

本文提出了基于弱监督学习的三阶段学习框架和一种变体 Transformer 来构建知识驱动的对话系统。评估结果表明该方法在少量训练数据甚至零资源的情况下仍然表现出色。

Sep, 2021

构建基于知识的开放领域对话生成技术旨在利用挖掘的知识与人类进行闲聊。本文提出了一个高质量的多源对话知识选择和生成评估基准，名为 multi-source Wizard of Wikipedia（Ms.WoW），用于评估多源对话知识选择和生成。与现有数据集不同的是，它包含了清晰的支持知识，以话语为单位分成多个知识来源。我们进一步提出了一个新挑战，即对话知识即插即用，旨在以零 - shot 的方式测试已经训练好的对话模型在使用未见过的新知识来源时的能力。

Mar, 2024

本文提出了一种基于文档的对话方法，通过生成理解文本的知识与回答用户提问，逐步消除错误传播问题，并采用温度调度方法减少文档信息的负面影响，实验结果证明了多任务学习策略的有效性。

Apr, 2022

提出了 SURGE 框架，用于生成上下文相关且基于知识图谱的对话，通过从知识图谱检索相关子图，并对其条件下的单词嵌入进行干扰以保持事实一致性并使用对比学习确保所生成的文本与检索到的子图具有高相似度，通过在 OpendialKG 和 KOMODIS 数据集上的实验验证了该框架的有效性。

May, 2023

mPLUG 是一个新的视觉语言基础模型，通过新颖的跨模态 skip-connections 有效缓解了现有预训练模型由于跨模态对齐中长的视觉序列带来的信息不对称和低计算效率等问题，通过对大规模图像 - 文本对的端到端预训练，具有良好的视觉和语言能力，并在图像字幕生成、图像 - 文本检索、视觉定位和视觉问答等一系列视觉语言场景下实现了最先进的结果，并且具有很强的零样本学习能力。

May, 2022

该论文介绍了一种名为 KnowExpert 的框架，将轻量级适配器注入预训练的语言模型中，在没有显式检索的情况下适应知识驱动的对话任务。实验结果表明，Knowexpert 的推理效率高，且在开放领域闲聊场景中的表现与一些基于检索的基线方法相当，证明了我们提出的方法的有效性。

May, 2021

本文提出了一种基于外部编码的对话状态跟踪方法，通过查询相关知识以基于对话上下文信息来预测对话状态，证明在一些场景下，我们的方法比基线表现更优秀，尤其是在少样本学习情况下。

Oct, 2022