EMNLPSep, 2021

基于 Transformer 的词汇约束标题生成

PDF
TL;DR本文探讨了一种自动生成标题的方法，该方法要求生成的标题必须包含给定的短语，如公司或产品名称。我们提出了一种简单的基于 Transformer 的方法，可以保证在生成的标题中包含给定的短语，并考虑了一种新的标题生成策略，利用 Transformer 的可控制生成顺序。我们的实验表明，我们的方法达到了与先前基于 Transformer 的方法相当的 ROUGE 得分，并且我们的生成策略表现更好。
automatic headline generationtransformer-based modelsrnn-based methodsgeneration orderrouge scores
发现论文，激发创造
  • 用于标题生成的自我注意力模型

    使用最新的 Universal Transformer architecture 和 byte-pair encoding 技巧，对新闻标题生成任务进行了优化，取得了新的最佳 ROUGE-L F1 分数 24.84 和 ROUGE-2 F1 分数 13.48，并提出了新的 RIA 语料库并在其上达到 ROUGE-L F1 分数 36.81 和 ROUGE-2 F1 分数 22.15。

    Jan, 2019

  • 多样化、可控、关键词感知：新闻多标题生成的语料库和方法

    本文提出了一种生成多个与关键词相关、高质量、多样化新闻标题的方法，使用多源 Transformer 解码器，并构建了第一个大规模的具有关键词意识的新闻标题语料库，并在真实数据集上进行了广泛实验比较。

    Apr, 2020

  • 基于 Transformer 模型的新闻标题生成技术进展

    本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

    Jul, 2020

  • 基于句子优化的神经网络标题生成

    本文介绍了一种使用最小化风险训练策略的神经模型，可以在句子级别上优化模型参数，从而显著提高英文和中文新闻标题生成系统的性能。

    Apr, 2016

  • 改变 Transformer 的思想以实现主题可控语言生成

    该研究设计了一个交互式写作辅助框架，它利用基于 Transformer 的语言模型为作者提供可能的续写文本主题，并允许作者选择其中一部分以引导生成，研究表明该框架的主题选择比标准的聚类方法更好且自监督的训练能够产生流畅且相关的句子。

    Mar, 2021

  • 低资源神经标题生成

    我们提出了新的预训练方法，以提高对于小型数据集的神经标题生成模型的质量，这些方法使所有模型参数均能够被预训练并利用所有可用的文本，相比较而言模型困惑度与 ROUGE 评估指标表现提升了 32.4％和 2.84 分。

    Jul, 2017

  • 利用 Levenshtein 变换的受词汇约束的神经机器翻译

    本文提出了一种在神经机器翻译中加入词汇约束的简单有效算法，该算法可以在推理时注入术语约束，而不影响解码速度，并且无需修改训练流程，使用自定义字典即可运行，实验结果表明，我们的方法在英德 WMT 数据集上可以提高基线和之前方法的翻译质量。

    Apr, 2020

  • 基于 Transformer 的文本摘要技术用于关键词生成

    本研究测试了四个基准数据集，使用流行的基于 Transformer 的模型进行抽象文本摘要，以实现关键词提取的目的，并将结果与常见无监督和有监督方法进行比较。研究结果表明，这些摘要模型非常有效地生成关键词，但它们产生的大量单词都不在作者的关键词列表中，这使得摘要模型在 ROUGE-1 方面效果不佳。此外，对于几种排序策略进行调查的结果表明，策略的选择会影响关键词生成的性能。

    Sep, 2022

  • 神经关键词生成：分析与评估

    本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

    Apr, 2023

  • 对比学习增强的作者风格标题生成

    本文提出了一种名为 CLH3G 的新型 Seq2Seq 模型，该模型可以利用作者过去写过的文章的历史标题，以改善当前文章的标题生成。通过考虑历史标题，我们可以将作者的风格特征融入到我们的模型中，生成既适合文章又与作者的风格一致的标题。我们进一步引入了一种基于对比学习的编码器辅助任务来高效地学习作者的风格特征，以及两种使用学习的风格特征来指导指针和解码器的方法。实验结果表明，相同作者的历史标题可以显著改善标题生成，并且对比学习模块和两种风格特征融合方法可以进一步提高性能。

    Nov, 2022