通过使用外部知识补充上下文，知识感知对话生成旨在减轻文本退化问题，然而，模型经常无法以人类方式将这些信息内化为响应，而仅简单地将所提供的知识片段插入到通用响应中，导致生成的响应往往乏味、不连贯且缺乏互动性，这意味着退化问题仍未解决。在这项工作中，我们首先发现，这种复制式退化主要是由于弱似然目标，这使得模型可以通过仅基于重叠的表面模式匹配来 “欺骗” 这个目标而复制知识片段。为了克服这一挑战，我们提出一种多级自适应对比学习（MACL）框架，该框架动态采样负例，并随后在令牌级别和序列级别上惩罚退化行为。广泛的实验验证了我们的方法在 WoW 数据集上的有效性以及在各种预训练模型上的适用性。

Oct, 2023

基于对话文本和外部知识的知识驱动对话系统面临实际应用中各种噪声干扰，为提高系统鲁棒性，我们提出了一种基于实体对比学习的框架，通过引入两种类型的干扰样本，使得模型在真实应用中能够生成具有信息性的回应，实验证明该方法在三个基准数据集上实现了最新的性能提升，并在噪声和少样本场景下胜过其他模型。

Jan, 2024

该论文提出了一种叫做 “Graph Convolution Simulator”（GCS）的探针模型，用于解释知识增强语言模型（Knowledge-enhanced LMs）中知识整合的方式，并发现只有少量的事实知识被整合进 ERNIE 和 K-Adapter 中。

Feb, 2022

我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

Oct, 2020

提出了基于文档结构的知识识别模型，以提供对话语境下的段落编码，更好地定位与对话相关的知识。辅助损失捕捉了对话 - 文档连接的历史。在两个文档为基础的对话数据集上展示了模型的有效性，并提供了分析结果，表明其可以泛化到未见过的文档和长对话上下文。

Sep, 2021

通过一种名为 KID 的基于强化学习的算法，将外部知识动态地注入到生成语言模型的解码过程中，以解决语境相关性和事实准确性的问题，进而在多种知识密集型自然语言生成任务中体现出比许多优化后的模型更好的性能表现。

Apr, 2022

本研究基于两个阶段的对话学习引入了 PLATO-K，以加强内部知识记忆和外部知识利用， extensive experiments 显示 PLATO-K 的总体吸引力在闲聊和知识密集型对话方面显著提高了 36.2％和 49.2％，这缓解了 PLATO-K 的知识问题。

Nov, 2022

本文提出了一种基于上下文和知识加权的对话生成模型训练方法，通过 Contextual Knowledge Learning (CKL) 过程，使用上下文和知识的潜在向量进行弱监督，从而实现对加权模型的训练，实验表明 CKL 方法可以有效提高模型性能并且在训练集较小的情况下能够保持稳健的性能。

May, 2023

本文提出了一种生成式方法，名为 GenKS，用于在基于对话历史的语境下选择适当的知识片段，该方法通过序列到序列模型生成标识符来选择片段，捕捉片段之间的内部知识交互，并通过超链接机制显式地建模对话 - 知识交互，同时在三个基准数据集上进行实验并证明 GenKS 在知识选择和响应生成方面取得了最佳结果。

Apr, 2023

本文提出了一种多层对比学习模型，用于模拟回复的细粒度质量。通过设计一个排名感知校准网络和关键词知识推断组件，提高响应的相关性和多样性。实验结果表明，与基线模型相比，该模型能够生成更相关且多样化的回复。

Sep, 2020