Jan, 2019

用于标题生成的自我注意力模型

PDF
TL;DR使用最新的 Universal Transformer architecture 和 byte-pair encoding 技巧，对新闻标题生成任务进行了优化，取得了新的最佳 ROUGE-L F1 分数 24.84 和 ROUGE-2 F1 分数 13.48，并提出了新的 RIA 语料库并在其上达到 ROUGE-L F1 分数 36.81 和 ROUGE-2 F1 分数 22.15。
headline generationtext summarizationuniversal transformer architecturebyte-pair encodingrouge scores
发现论文，激发创造
  • 基于 Transformer 模型的新闻标题生成技术进展

    本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

    Jul, 2020

  • 生成新闻故事的代表性标题

    试图在不使用人工标注的情况下通过在不同级别上同时使用多个类型的未标注语料库和自投票方法对新闻报道进行标题生成的研究。

    Jan, 2020

  • 低资源神经标题生成

    我们提出了新的预训练方法，以提高对于小型数据集的神经标题生成模型的质量，这些方法使所有模型参数均能够被预训练并利用所有可用的文本，相比较而言模型困惑度与 ROUGE 评估指标表现提升了 32.4％和 2.84 分。

    Jul, 2017

  • 提高标题生成的真实性

    本文旨在提高生成式摘要的真实性，在两个流行数据集上进行了标题生成的研究，发现总结存在虚假性，且虚假性的监督数据会导致模型行为不真实，通过二分类器过滤掉虚假数据并重新训练模型可以在不影响 ROUGE 分数的情况下提高摘要标题的真实性。

    May, 2020

  • 基于 Transformer 的词汇约束标题生成

    本文探讨了一种自动生成标题的方法，该方法要求生成的标题必须包含给定的短语，如公司或产品名称。我们提出了一种简单的基于 Transformer 的方法，可以保证在生成的标题中包含给定的短语，并考虑了一种新的标题生成策略，利用 Transformer 的可控制生成顺序。我们的实验表明，我们的方法达到了与先前基于 Transformer 的方法相当的 ROUGE 得分，并且我们的生成策略表现更好。

    Sep, 2021

  • 基于句子优化的神经网络标题生成

    本文介绍了一种使用最小化风险训练策略的神经模型，可以在句子级别上优化模型参数，从而显著提高英文和中文新闻标题生成系统的性能。

    Apr, 2016

  • 标题中的钩子：学习使用受控样式生成标题

    本研究提出了一种新的任务 —— 文体标语生成（SHG），通过将摘要和重构任务组合成一个多任务框架以及新颖的参数共享方案，为文摘添加了三个样式选项（幽默、浪漫和点击量讹诈），从而吸引更多读者。通过自动和人工评估，我们证明了 TitleStylist 可以生成具有幽默、浪漫和点击量诱导效果的标题。我们的模型生成的标题吸引力评分超过了现有技术的摘要模型 9.68％，甚至超过了人工编写的参考标题。

    Apr, 2020

  • 作为挑战性自然语言理解任务的新闻标题分组

    本文介绍了 HeadLine Grouping 的任务和相应数据集，并提出了一个新颖的模型用于该任务。研究结果表明，虽然当前的最先进的 Transformer 模型只能达到 0.75 F-1，但是我们提出的无监督 Headline Generator Swap 模型可接近最佳监督模型的 F-1 分数，并发现了现有体系结构建模的局限性。

    May, 2021

  • 使用自动调整的强化学习生成轰动性标题：真新闻还是炒作？

    本研究提出了一种模型，它能够生成感性的头条，其使用了在线头条的分类来训练感性评分器，并使用强化学习算法来优化模型的生成结果，模型评估结果表明我们的模型在生成感性头条方面显著优于其他基线模型。

    Sep, 2019

  • 神经标题编辑的重要性感知学习

    通过神经网络模型自动化社交媒体新闻标题的编辑过程，通过使用先前预训练的语言模型及提出的 SIA loss（自我重要性感知）损失函数解决低资源情况下数据集困难的问题，有效提高了新闻编辑质量。

    Nov, 2019