EMNLPOct, 2023

多层自适应对比学习在对话生成中的知识内化

PDF
TL;DR通过使用外部知识补充上下文，知识感知对话生成旨在减轻文本退化问题，然而，模型经常无法以人类方式将这些信息内化为响应，而仅简单地将所提供的知识片段插入到通用响应中，导致生成的响应往往乏味、不连贯且缺乏互动性，这意味着退化问题仍未解决。在这项工作中，我们首先发现，这种复制式退化主要是由于弱似然目标，这使得模型可以通过仅基于重叠的表面模式匹配来 “欺骗” 这个目标而复制知识片段。为了克服这一挑战，我们提出一种多级自适应对比学习（MACL）框架，该框架动态采样负例，并随后在令牌级别和序列级别上惩罚退化行为。广泛的实验验证了我们的方法在 WoW 数据集上的有效性以及在各种预训练模型上的适用性。
knowledge-grounded dialogue generationtext degenerationexternal knowledgecopying-style degenerationmulti-level adaptive contrastive learning
发现论文，激发创造
  • 通过多级对比学习增强对话生成

    本文提出了一种多层对比学习模型，用于模拟回复的细粒度质量。通过设计一个排名感知校准网络和关键词知识推断组件，提高响应的相关性和多样性。实验结果表明，与基线模型相比，该模型能够生成更相关且多样化的回复。

    Sep, 2020

  • 通过对比学习提高知识驱动对话的稳健性

    基于对话文本和外部知识的知识驱动对话系统面临实际应用中各种噪声干扰，为提高系统鲁棒性，我们提出了一种基于实体对比学习的框架，通过引入两种类型的干扰样本，使得模型在真实应用中能够生成具有信息性的回应，实验证明该方法在三个基准数据集上实现了最新的性能提升，并在噪声和少样本场景下胜过其他模型。

    Jan, 2024

  • 神经会话生成的词汇知识内化

    通过内部化知识的方式，将词汇知识融入神经对话模型中，以应对因词汇知识规模庞大而带来的挑战，并采用对比学习方法创建了一个基于弱监督自 Wikipedia 挖掘的有效的标记级别的词汇知识检索器，证明了该方法在各种数据集和多元化模型结构上的有效性和普适性。

    May, 2022

  • 神经对话生成的分组对比学习

    本研究利用对比学习方法，在已有预训练模型为基础上，训练对话生成模型，提高其多样性和能力以应对开放领域会话问题，并提出一种适用于广泛对话生成模型的群内对比学习框架，实验结果表明该方法在性能上表现优异。

    Sep, 2020

  • 一种低资源知识引导对话生成的三阶段学习框架

    本文提出了基于弱监督学习的三阶段学习框架和一种变体 Transformer 来构建知识驱动的对话系统。评估结果表明该方法在少量训练数据甚至零资源的情况下仍然表现出色。

    Sep, 2021

  • 对话生成的上下文知识学习

    本文提出了一种基于上下文和知识加权的对话生成模型训练方法，通过 Contextual Knowledge Learning (CKL) 过程，使用上下文和知识的潜在向量进行弱监督，从而实现对加权模型的训练，实验表明 CKL 方法可以有效提高模型性能并且在训练集较小的情况下能够保持稳健的性能。

    May, 2023

  • 低资源知识驱动对话生成

    在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

    Feb, 2020

  • 基于知识的对话生成：对抗性多参照学习中不存在标准答案

    提出一种多参考知识对话模型 (KGC)，为了提高知识选择与生成的多样性，建立了一个多重参考的 KGC 数据集，并提出了一系列测量现有 KGC 模型效力的指标，使用基于跨度的变分模型并以改进的证据下界目标进行优化，以学习一对多泛化关系，该方法在机器和人工评估中均表现出良好的效力。

    Oct, 2022

  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 通过对比解码增强大型语言模型中的上下文理解能力

    大型语言模型在生成文本时常常不能充分整合输入上下文，过度依赖模型参数中的编码先验知识，导致生成的文本存在事实不一致或上下文不忠实的内容。本研究提出了一种新颖的方法，利用对抗性无关信息作为负样本，通过对比解码来增强生成过程中的强大上下文基础。值得注意的是，我们的方法在推理时不需要额外的训练，并通过全面实验证明了其可行性和有效性，提供了实证证据表明其优于现有方法。

    May, 2024