AAAIDec, 2020

通过常识知识的提取和注入进行词汇限制的文本生成

PDF
TL;DR本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。
conditional text generationcommongen benchmarkcommonsense knowledge graphslexical requirementsunilm
发现论文，激发创造
  • 一种增强的常识生成知识注入模型

    利用外部知识概念辅助 CommonSense 生成，通过原型建模和知识注入方法显著提高了性能。

    Dec, 2020

  • CommonGen: 一个面向生成通识常识推理的受限文本生成挑战

    本文介绍了一个基于 CommonGen 任务的数据集，用于评估预训练语言模型的生成常识推理能力，任务的难点在于需要进行关系推理并具有通用性，实验结果表明目前最先进的文本生成模型与人类表现存在很大差距，且生成的常识推理能力可以用于提高 Downstream 任务的性能。

    Nov, 2019

  • 检索增强型通识生成模型

    采用检索方法增强先前训练和微调，提出了一种新的框架用于增强常识生成，通过原型句子候选集，进一步使用可训练的句子检索器提高其性能，并在大规模 CommonGen 基准测试上实现了最新的最优结果。

    May, 2021

  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020

  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023

  • 知识图谱增强的韩语生成式常识推理

    本文提出一种利用韩语知识图谱数据进行文本生成的方法，并强调使用补充数据可以增强韩语通识推理的效率。

    Jun, 2023

  • BOOST：利用黑盒控制提升 LM 生成中的常识

    我们提出了一种计算高效的框架，通过引导一个固定的预训练语言模型向更具常识的生成方式迈进，以产生一个合理的输出，该输出以一系列概念有意义的方式融合。测试结果表明，我们的方法在两个有限概念生成句子的基准上始终能够产生最具常识性的输出。

    Oct, 2023

  • 生成式知识促进常识推理

    通过从语言模型中产生知识并将其作为额外输入用于回答问题，我们开发了一种生成知识提示方法，它不需要针对知识集成的任务特定监督，也不需要访问结构化的知识库，并在四个常识推理任务中提高了大规模、最先进模型的性能。这凸显了大规模语言模型作为提高常识推理的外部知识的灵活来源。

    Oct, 2021

  • 用于上下文常识推理的对抗变换器语言模型

    本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

    Feb, 2023