ACLOct, 2021

生成式知识促进常识推理

PDF
TL;DR通过从语言模型中产生知识并将其作为额外输入用于回答问题，我们开发了一种生成知识提示方法，它不需要针对知识集成的任务特定监督，也不需要访问结构化的知识库，并在四个常识推理任务中提高了大规模、最先进模型的性能。这凸显了大规模语言模型作为提高常识推理的外部知识的灵活来源。
发现论文，激发创造
  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020

  • 如何通过额外知识来提升自然语言常识问答能力？

    本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。

    Sep, 2019

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022

  • 一种增强的常识生成知识注入模型

    利用外部知识概念辅助 CommonSense 生成，通过原型建模和知识注入方法显著提高了性能。

    Dec, 2020

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 基于常识的提示控制共情对话生成

    该研究提出一种新的框架，通过口头提示和策略驱动的未来鉴别器来融合常识知识并控制对话生成，从而改善预训练语言模型的共情式对话生成性能。实验证明，社会常识知识的融合和生成控制的强制执行有助于提高性能。

    Feb, 2023

  • 通过常识知识的提取和注入进行词汇限制的文本生成

    本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。

    Dec, 2020

  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 利用常识知识增强端到端对话系统

    本文研究了将常识知识有效地集成到对话模型中的影响，并在基于检索的情境下提出了 Tri-LSTM 模型，将消息和常识联合起来选择适当的响应，实验证明知识增强模型比无知识模型在自动评估中表现更好。

    Sep, 2017

  • TSGP: 两阶段生成式提示在无监督通识问题回答中的应用

    该论文提出了一种基于提示的无监督常识问答框架，并利用预训练语言模型中的隐式知识来生成具有不同类型的问题和可能的答案候选项，实验结果表明 TSGP 显著提高了语言模型在无监督常识推理任务中的推理能力。

    Nov, 2022