EMNLPOct, 2023

基于质量的句法模板检索器用于句法控制的改写生成

PDF
TL;DR现有的句法控制的复述生成模型在使用人工标注或选择合适的句法模板时表现出色。然而，获取这样的模板的困难实际上阻碍了句法控制的复述生成模型的实际应用。为了摆脱这一困境，我们提出了一种基于生成的复述质量来检索模板的新颖资质句法模板检索器（QSTR）。此外，针对需要为每个源句生成多个复述的情况，我们设计了一种多样性模板搜索（DTS）算法，可以在不损失质量的情况下增强复述之间的多样性。实验证明，QSTR 在生成高质量复述方面明显优于现有的检索方法，并且在无参考度量方面甚至可以与人工标注的模板相媲美。此外，通过人工评估和使用我们生成的复述进行数据增强的下游任务表现，展示了我们的 QSTR 和 DTS 算法在实际场景中的潜力。
syntactically-controlled paraphrase generationsyntactic templatesquality-based syntactic template retrieverdiverse templates searchdata augmentation
发现论文，激发创造
  • 质量控制的释义生成

    该研究提出一种名为 QCPG 的控制质量的引号生成模型，该模型能够直接控制生成的引语的质量维度，并且还提供了一种方法来确定预期能够产生最优引语的质量控制空间中的点。实验表明，该模型能够生成保持原始含义的引语并且比未受控的基线具有更高的多样性。

    Mar, 2022

  • 在不使用已标注平行对的情况下生成句法控制的同义改写句

    本文提出了一种基于编码器 - 解码器的模型，名为 Syntactically controlled Paraphrase Generator (SynPG)，它可以从未注释的文本集合中学习将一句话的语义和语法分离的能力，从而生成语法各异的释义，而无需使用大量注释的释义对。自动评价和人工评价的实验结果表明，该模型在语法控制方面的表现优于无监督基线，同时生成的释义的质量也具有竞争力。同时，经过充分的训练，该模型的性能与有监督模型相媲美，甚至更好，使其生成的语法受控释义可以用于数据增强，以提高 NLP 模型的健壮性。

    Jan, 2021

  • 基于矢量量化提示学习的释义生成

    通过利用预训练模型和实例相关提示，本文提出生成多样且高质量的复述词句的方法，使用向量量化的提示来控制预训练模型的生成。实验表明此方法在三个基准数据集上取得了最新的最佳结果，包括 Quora、Wikianswers 和 MSCOCO。一旦被接受，我们将公开所有代码。

    Nov, 2023

  • 利用检索句子生成模板的方式提高无监督问答

    我们提出了一种无监督训练 QA 模型的方法，该方法使用生成的伪数据训练，为 QA 训练生成问题，通过对相关检索到的句子应用简单模板，而非原始上下文句子来实现，从而使模型能够学习更复杂的上下文问题关系。 使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14％的 F1 分数相对提高，并且在答案为命名实体时提高 20％，从而实现无监督 QA 的最新性能。

    Apr, 2020

  • 使用抽象意义表示进行无监督句法控制的释义生成

    本研究提出了一种基于 AMR 的修改短语生成模型 (AMRPG)，该模型通过对抽象含义表示进行编码，从而在语法控制和短语生成质量方面显着提高了非监督学习方法的性能，并可用于数据增强以改善 NLP 模型的鲁棒性。

    Nov, 2022

  • 将改写生成视为零样本多语言翻译：将语义相似性从词汇和句法多样性中分离开来

    通过引入简单的改进算法，不鼓励生成输入中已有的 N-grams，利用多语言神经机器翻译模型生成同义句，控制输入和输出之间的词汇多样性，人工评估表明，该方法比基于 ParaBank 2 的同义句生成器更好地维护意义和语法正确性，并且在两种非英语语言上也同样有效。

    Aug, 2020

  • 句法引导的控制性近义语生成

    本文提出了一个用于句子重述生成的端到端框架语法引导控制重述生成（SGCP），它利用了源句子中的复杂语法信息以生成符合指定语法结构的新句子，并在多个真实世界的英语语言数据集上进行了自动化和人工评估以证明其有效性。

    May, 2020

  • 一个用于释义生成的深度生成框架

    本篇论文研究了一种使用深度生成模型（VAE）与序列到序列模型（LSTM）相结合的方法来自动生成给定句子的同义句，相对于现有方法具有更好的性能和简洁的模块化结构。

    Sep, 2017

  • ParaAMR：一种大规模的语法多样化释义数据集，基于 AMR 回译得出

    本文介绍了一种通过抽象意义表示来创建大规模句法多样的同义句数据集 ParaAMR，并证明了其在各种 NLP 应用方面的巨大潜力。

    May, 2023

  • 基于树形重述排名的更健壮的模式引导对话状态跟踪

    使用树形排序的生成模型，优化模型的语法多样性和语义忠实度，使其适用更广泛的任务。将合成的数据添加到基线模型的训练集中，可以显著提高其平均联合目标准确性和模式灵敏度。

    Mar, 2023