EMNLPOct, 2021

无监督知识选择：通过预先训练的生成模型生成响应来教我说什么，我就能学会挑选什么

PDF
TL;DR本文研究了预训练生成模型的无监督选择能力，通过在编码器和解码器之间添加得分和聚合模块。这个模型 - K-Mine - 在没有知识标签和 / 或分离的密集检索器的情况下展示了有竞争力的选择和生成性能。
发现论文，激发创造
  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 基于知识的对话生成知识选择

    本文提出了一种生成式方法，名为 GenKS，用于在基于对话历史的语境下选择适当的知识片段，该方法通过序列到序列模型生成标识符来选择片段，捕捉片段之间的内部知识交互，并通过超链接机制显式地建模对话 - 知识交互，同时在三个基准数据集上进行实验并证明 GenKS 在知识选择和响应生成方面取得了最佳结果。

    Apr, 2023

  • 井井有条：面向知识驱动对话的生成器无关知识预选择

    GATE 是一种生成器无关的知识选择方法，它通过在不同的知识结构和可变的知识需求中选择与上下文相关的知识来为后续的响应生成模型准备知识，实验证明 GATE 的优越性，表明生成前的知识选择是一种轻量且有效的方式，可以促进 LLMs 生成更具信息量的响应。

    Oct, 2023

  • 基于知识的对话生成：对抗性多参照学习中不存在标准答案

    提出一种多参考知识对话模型 (KGC)，为了提高知识选择与生成的多样性，建立了一个多重参考的 KGC 数据集，并提出了一系列测量现有 KGC 模型效力的指标，使用基于跨度的变分模型并以改进的证据下界目标进行优化，以学习一对多泛化关系，该方法在机器和人工评估中均表现出良好的效力。

    Oct, 2022

  • 从大型预训练模型中引导知识，以实现无监督的知识驱动对话

    本文探究了大规模预训练在知识引导对话中的应用。通过各种方法获取大型模型的知识，利用后验重加权和嘈杂训练策略进一步挖掘其价值，并在两个基准数据上进行了实验，结果表明其优于现有的最新方法。

    Nov, 2022

  • 双重知识增强生成预训练语言模型的多模态对话系统

    本文提出了一个可以双重增强知识的生成式语言模型，用于为多模态任务导向式对话系统生成适当的文本响应。实验证明，该模型优于现有竞争对手。

    Jul, 2022

  • 千人千村：个人记忆增强的基于知识的对话

    本文介绍了将个人记忆引入知识选择的方法，以解决个性化的问题，采用变分方法建模个人记忆与知识选择之间的关系，并设计了一种学习方式，其中包括了从个人记忆到知识的前向映射和其逆向映射。实验证明，我们的方法在自动评估和人类评估方面都显著优于现有的知识驱动对话方法。

    Apr, 2022

  • 语言模型是开放的知识图谱

    本论文介绍了如何使用预训练语言模型构建知识图谱，从而达到无须人类监督的效果，并通过比较人类创建的两个知识图谱，证明了构建的知识图谱的质量高，能够提供新的事实知识，并公开了相关代码和知识图谱。

    Oct, 2020

  • KgPLM: 知识引导的语言模型预训练 via 生成学习和区分学习

    本文提出了一个基于事实知识补全和验证的预训练语言模型框架，探讨了共享参数下的两个学习方案，并在 LAMA 和 MRQA 等任务中验证了其能够提供更丰富的事实知识和实现最新的表现。

    Dec, 2020

  • 对话系统中选择相应生成知识的学习

    该论文提出了一种采用先验和后验知识分布来实现知识选择的端到端神经模型，以更好地将适当的知识整合到响应生成中。

    Feb, 2019