EMNLPOct, 2020

基于预训练语言模型的知识驱动对话生成

PDF
TL;DR我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。
knowledge-grounded dialogue generationpre-trained language modelsexternal knowledgeunsupervised approachautomatic evaluation
发现论文，激发创造
  • 预训练语言模型是否可应用于基础开放领域对话？

    通过使用预训练语言模型，我们尝试研究知识相关对话生成的相关性，发现在使用仅包含少量知识对话的细调过程中，预训练语言模型可以超越需要外部知识的最先进的模型，在自动评估和人类判断方面表现更好。

    Nov, 2020

  • 低资源知识驱动对话生成

    在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

    Feb, 2020

  • 从大型预训练模型中引导知识，以实现无监督的知识驱动对话

    本文探究了大规模预训练在知识引导对话中的应用。通过各种方法获取大型模型的知识，利用后验重加权和嘈杂训练策略进一步挖掘其价值，并在两个基准数据上进行了实验，结果表明其优于现有的最新方法。

    Nov, 2022

  • 一种低资源知识引导对话生成的三阶段学习框架

    本文提出了基于弱监督学习的三阶段学习框架和一种变体 Transformer 来构建知识驱动的对话系统。评估结果表明该方法在少量训练数据甚至零资源的情况下仍然表现出色。

    Sep, 2021

  • 基于统一知识表示的知识驱动对话生成

    PLUG 是一个预训练的语言模型，可以将异构知识源同化为一个统一的知识表示，从而提高知识引导型对话生成任务的泛化能力。该模型可以通过少量的训练样本实现不同下游知识引导型对话生成任务的泛化，且在零样本和少样本场景中表现显著优异。

    Dec, 2021

  • 对话系统中选择相应生成知识的学习

    该论文提出了一种采用先验和后验知识分布来实现知识选择的端到端神经模型，以更好地将适当的知识整合到响应生成中。

    Feb, 2019

  • 多阶段提示的知识对话生成

    本研究提出一种多阶段提示方法，利用单个预训练语言模型生成知识响应，并通过对话上下文和先前生成的知识生成响应，其产生的响应知识性和参与度出色于微调对话模型。

    Mar, 2022

  • 利用预训练生成语言模型的视频对话

    本文提出了一种基于 GPT-2 模型的框架，将视频与文本表示结合成连续、有结构的序列，并利用其 fine-tuning 能力来解决视频对话中的挑战，从而在 Audio-Visual Scene-Aware Dialogues 基准测试中取得了显著的改进。

    Jun, 2020

  • 双重知识增强生成预训练语言模型的多模态对话系统

    本文提出了一个可以双重增强知识的生成式语言模型，用于为多模态任务导向式对话系统生成适当的文本响应。实验证明，该模型优于现有竞争对手。

    Jul, 2022

  • 基于知识的神经对话模型

    本文针对神经网络模型生成内容不足的对话应用展开了研究，提出了一种全新的、基于数据和知识驱动的神经对话模型，该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应，实验证明该方法在开放领域中具有广泛应用前景，相较于基线模型的 Seq2Seq 方法，能够显著提高输出的信息量。

    Feb, 2017