Dec, 2022

DimonGen：用于解释概念关系的多样化生成常识推理

PDF
TL;DR本文提出了 DimonGen，它旨在在各种日常情境中生成描述概念关系的多样化句子，并通过调整现有的 CommonGen 数据集来支持此任务。提出一个名为 MoREE 的双阶段模型，由检索模型和生成模型混合而成，并通过实验表明 MoREE 在生成句子的质量和多样性方面均优于强基线。
sentence generationconcept relationshipsmoreediverse contextsbenchmark dataset
发现论文，激发创造
  • 基于知识图谱专家混合的常识推理内容生成的多样化

    本文提出了一种基于领域专家积混合策略的方法（即 MoKGE），以通过 commonsense 知识图谱来增加生成推理的多样性，结果表明 MoKGE 能够显著提高多样性并在 GCR 的两个基准测试中取得与准确性相当的性能。

    Mar, 2022

  • CommonGen: 一个面向生成通识常识推理的受限文本生成挑战

    本文介绍了一个基于 CommonGen 任务的数据集，用于评估预训练语言模型的生成常识推理能力，任务的难点在于需要进行关系推理并具有通用性，实验结果表明目前最先进的文本生成模型与人类表现存在很大差距，且生成的常识推理能力可以用于提高 Downstream 任务的性能。

    Nov, 2019

  • 检索增强型通识生成模型

    采用检索方法增强先前训练和微调，提出了一种新的框架用于增强常识生成，通过原型句子候选集，进一步使用可训练的句子检索器提高其性能，并在大规模 CommonGen 基准测试上实现了最新的最优结果。

    May, 2021

  • 多模式检索增强生成式常识推理

    提出了一种新颖的多模式检索 (MORE) 增强框架，利用文本和图像来增强语言模型的常识能力。在 Common-Gen 任务上的大量实验表明，MORE 基于单一和多模态的预训练模型具有较高的效果。

    Feb, 2024

  • RetGen: 一个检索和基于生成式文本生成的联合框架模型

    通过联合训练基于语言模型信号的基于文档检索器的生成器及检索器来生成更具信息含量和相关性的文本。

    May, 2021

  • 一种增强的常识生成知识注入模型

    利用外部知识概念辅助 CommonSense 生成，通过原型建模和知识注入方法显著提高了性能。

    Dec, 2020

  • 文档级关系抽取：基于上下文引导的实体融合和实体之间关系推理

    本文提出了基于上下文的提及整合和实体间推理两种技术，以改善文档级关系抽取。在三个基准数据集上的实验结果表明，我们的模型胜过了先前的最先进模型。

    Jan, 2022

  • SituatedGen: 融合地理和时间背景的生成常识推理

    研究了通识常识推理中的文本生成任务，提出了一种面向具体地理和时间背景下的对比句子生成的数据集及评价模型，并实验证明现有最先进的语言生成模型在推理的通识常识上仍然远远落后于人类表现。

    Jun, 2023

  • 通过上下文学习提高大型语言模型对常识生成的多样性

    生成常识推理（GCR）需要模型利用常识知识进行推理，同时生成连贯的句子。本论文提出了一种简单的方法来增加大型语言模型（LLMs）生成的多样性，同时保持生成质量。实验结果表明，该方法在生成质量和多样性之间取得了理想的平衡，并且所生成的句子可用于改善现有常识生成器的多样性。

    Apr, 2024

  • 约束优先：一个基于 MDD 的生成句子模型

    该论文介绍了一种生成强约束文本的新方法，将标准化句子生成应用于视力筛查，采用多值决策图 (MDD) 处理约束条件，并利用语言模型 (GPT-2) 获取最佳句子，该方法在标准化句子生成领域取得了重大突破。

    Sep, 2023