AAAIDec, 2022

基于关键词导向的对话生成预训练模型

PDF
TL;DR在对话生成领域，我们提出了一种基于关键词引导的自监督预训练方法 (KPT)，该方法可以从对话数据中抽取关键词并构建两种不同的知识，以处理基于知识的生成任务，如对话行为，知识图谱和个人描述等。实验结果表明，KPT 在此类任务中具有优异的表现。
dialog generationpre-trainingknowledge extractionself-supervised learningutterances
发现论文，激发创造
  • 基于知识的预训练模型用于数据到文本生成

    本文提出一种使用预训练和迁移学习处理数据生成文本任务的方法，该方法包括知识驱动的预训练模型和针对各种任务生成文本的微调模型，其在少样本情况下性能优异，验证了其强大的泛化能力。

    Oct, 2020

  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022

  • 预训练语言模型是否可应用于基础开放领域对话？

    通过使用预训练语言模型，我们尝试研究知识相关对话生成的相关性，发现在使用仅包含少量知识对话的细调过程中，预训练语言模型可以超越需要外部知识的最先进的模型，在自动评估和人类判断方面表现更好。

    Nov, 2020

  • 关键词引导的神经对话模型

    本文提出了一种基于常识的关键词导向神经对话模型，通过外部常识知识图谱实现关键词的转移和响应检索，实现对话更快地到达目标关键词，自我对话和人类评估表明我们的模型产生的响应关键词转移更平稳，比竞争基线更快地到达目标关键词。

    Dec, 2020

  • 低资源知识驱动对话生成

    在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

    Feb, 2020

  • 面向知识驱动对话的顺序潜知识选择

    论文提出了一种名为 `SKT` 的序列潜变量模型，该模型可提高多轮对话的知识选择准确性，并相应地改进了话语生成的绩效；实验结果表明，该模型在大规模对话评估中取得了最先进的表现。

    Feb, 2020

  • 基于统一知识表示的知识驱动对话生成

    PLUG 是一个预训练的语言模型，可以将异构知识源同化为一个统一的知识表示，从而提高知识引导型对话生成任务的泛化能力。该模型可以通过少量的训练样本实现不同下游知识引导型对话生成任务的泛化，且在零样本和少样本场景中表现显著优异。

    Dec, 2021

  • RT-KGD: 关系转换感知的知识驱动对话生成

    本文提出了一种关系转移感知的知识引导对话生成模型（RT-KGD），该模型将对话级关系转移规律与轮级实体语义信息相结合，考虑了多轮上下文中的知识关系及 KG 中的关系转移规律。实验表明，该模型在自动和手动评估上均优于现有的基线模型。

    Jul, 2022

  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020