ICLRFeb, 2020

低资源知识驱动对话生成

PDF
TL;DR在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。
knowledge-grounded dialoguesresponse generation modellow-resource settingdisentangled response decoderstate-of-the-art performance
发现论文，激发创造
  • 一种低资源知识引导对话生成的三阶段学习框架

    本文提出了基于弱监督学习的三阶段学习框架和一种变体 Transformer 来构建知识驱动的对话系统。评估结果表明该方法在少量训练数据甚至零资源的情况下仍然表现出色。

    Sep, 2021

  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 基于统一知识表示的知识驱动对话生成

    PLUG 是一个预训练的语言模型，可以将异构知识源同化为一个统一的知识表示，从而提高知识引导型对话生成任务的泛化能力。该模型可以通过少量的训练样本实现不同下游知识引导型对话生成任务的泛化，且在零样本和少样本场景中表现显著优异。

    Dec, 2021

  • 使用适配器的无检索知识驱动对话生成

    该论文介绍了一种名为 KnowExpert 的框架，将轻量级适配器注入预训练的语言模型中，在没有显式检索的情况下适应知识驱动的对话任务。实验结果表明，Knowexpert 的推理效率高，且在开放领域闲聊场景中的表现与一些基于检索的基线方法相当，证明了我们提出的方法的有效性。

    May, 2021

  • 基于知识的神经对话模型

    本文针对神经网络模型生成内容不足的对话应用展开了研究，提出了一种全新的、基于数据和知识驱动的神经对话模型，该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应，实验证明该方法在开放领域中具有广泛应用前景，相较于基线模型的 Seq2Seq 方法，能够显著提高输出的信息量。

    Feb, 2017

  • 基于知识的会话中的表达学习

    本研究提出一种基于变分方法的分段生成模型，使用两个序列潜状态变量分别表示响应的结构和内容风格，以探索响应中的隐含知识表达模式，并在两个基准测试中获得较好的评估结果。

    Apr, 2022

  • RT-KGD: 关系转换感知的知识驱动对话生成

    本文提出了一种关系转移感知的知识引导对话生成模型（RT-KGD），该模型将对话级关系转移规律与轮级实体语义信息相结合，考虑了多轮上下文中的知识关系及 KG 中的关系转移规律。实验表明，该模型在自动和手动评估上均优于现有的基线模型。

    Jul, 2022

  • 基于知识的对话状态跟踪

    本文提出了一种基于外部编码的对话状态跟踪方法，通过查询相关知识以基于对话上下文信息来预测对话状态，证明在一些场景下，我们的方法比基线表现更优秀，尤其是在少样本学习情况下。

    Oct, 2022

  • 通过可控特征提高基于知识的对话的准确性

    研究知识基础对话系统，控制生成神经对话模型，加入不同的评估措施作为样式控制以鼓励模型生成有据可依的响应，并通过人类评估研究判断控制生成模型的产出通常更加客观和有据可依。

    Jul, 2021

  • 通过对比学习提高知识驱动对话的稳健性

    基于对话文本和外部知识的知识驱动对话系统面临实际应用中各种噪声干扰，为提高系统鲁棒性，我们提出了一种基于实体对比学习的框架，通过引入两种类型的干扰样本，使得模型在真实应用中能够生成具有信息性的回应，实验证明该方法在三个基准数据集上实现了最新的性能提升，并在噪声和少样本场景下胜过其他模型。

    Jan, 2024