ACLMay, 2021

检索增强型通识生成模型

PDF
TL;DR采用检索方法增强先前训练和微调，提出了一种新的框架用于增强常识生成，通过原型句子候选集，进一步使用可训练的句子检索器提高其性能，并在大规模 CommonGen 基准测试上实现了最新的最优结果。
commonsense generationpre-trainingfine-tuningretrieval methodsstate-of-the-art results
发现论文，激发创造
  • 一种增强的常识生成知识注入模型

    利用外部知识概念辅助 CommonSense 生成，通过原型建模和知识注入方法显著提高了性能。

    Dec, 2020

  • 检索增强通识推理：一种统一方法

    本文提出了一种统一的基于检索增强的通识推理框架（RACo），包括一个新构建的包含 2000 万个文档的通识语料库和训练通识检索器的新策略。对四个不同的通识推理任务进行的广泛评估结果表明，我们提出的 RACo 可以显著优于其他知识增强方法的竞争者，在 CommonGen 和 CREAK 排行榜上取得了新的 SoTA 性能。

    Oct, 2022

  • 多模式检索增强生成式常识推理

    提出了一种新颖的多模式检索 (MORE) 增强框架，利用文本和图像来增强语言模型的常识能力。在 Common-Gen 任务上的大量实验表明，MORE 基于单一和多模态的预训练模型具有较高的效果。

    Feb, 2024

  • 通过常识知识的提取和注入进行词汇限制的文本生成

    本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。

    Dec, 2020

  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020

  • CommonGen: 一个面向生成通识常识推理的受限文本生成挑战

    本文介绍了一个基于 CommonGen 任务的数据集，用于评估预训练语言模型的生成常识推理能力，任务的难点在于需要进行关系推理并具有通用性，实验结果表明目前最先进的文本生成模型与人类表现存在很大差距，且生成的常识推理能力可以用于提高 Downstream 任务的性能。

    Nov, 2019

  • 检索、字幕、生成：视觉基础为文本生成模型增强常识

    本研究探讨了利用图像中的多模态信息增强文本生成 Transformer 模型通用知识的有效方法。我们使用 BART 和 T5 进行了实验，并通过 VisCTG 方法成功地改善了通用知识、流畅性和特定性等问题的基线文本生成模型。

    Sep, 2021

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 知识图谱增强的韩语生成式常识推理

    本文提出一种利用韩语知识图谱数据进行文本生成的方法，并强调使用补充数据可以增强韩语通识推理的效率。

    Jun, 2023