我们提出了新的预训练方法，以提高对于小型数据集的神经标题生成模型的质量，这些方法使所有模型参数均能够被预训练并利用所有可用的文本，相比较而言模型困惑度与 ROUGE 评估指标表现提升了 32.4％和 2.84 分。

Jul, 2017

使用最新的 Universal Transformer architecture 和 byte-pair encoding 技巧，对新闻标题生成任务进行了优化，取得了新的最佳 ROUGE-L F1 分数 24.84 和 ROUGE-2 F1 分数 13.48，并提出了新的 RIA 语料库并在其上达到 ROUGE-L F1 分数 36.81 和 ROUGE-2 F1 分数 22.15。

Jan, 2019

在这篇论文中，我们提出了一种新颖的端到端神经网络框架，通过联合学习对句子进行评分和选择来实现摘要提取。在 CNN / Daily Mail 数据集上的实验证明，我们的方法比现有的抽取式摘要模型表现出更好的效果。

Jul, 2018

论文提出了一种基于神经网络和连续句子特征的数据驱动型抽取式摘要方法，采用层级文档编码器和基于注意力机制的提取器的通用框架，能够训练不同的摘要模型（提取句子或单词），在大规模语料库上进行实验结果表明，该方法在不需要语言注解的情况下取得了与现有技术相当的效果。

Mar, 2016

试图在不使用人工标注的情况下通过在不同级别上同时使用多个类型的未标注语料库和自投票方法对新闻报道进行标题生成的研究。

Jan, 2020

通过端到端训练的两步生成模型，即首先由句子级内容规划器决定涵盖的关键词组和所需的语言风格，然后由表面实现解码器生成相关和连贯的文本，可以显著优于现有竞争模型，在 Reddit 的说服性论证、维基百科的正常和简单版本的段落生成以及科学文章的摘要生成等任务中得到验证。

Sep, 2019

我们提出了使用统一语义话语结构（S3）来表示文档语义的方法，通过将文档级修辞结构理论（RST）树和句级抽象意义表示（AMR）图结合起来构建 S3 图，实现对文档语义的准确捕捉。我们还设计了一个标题生成框架，其中 S3 图被编码为上下文特征，并且通过一种分层结构修剪机制来动态筛选图中的冗余和非必要的节点，实验证明我们的方法在两个标题生成数据集上持续优于现有的最新方法。

Mar, 2024

本文探讨了一种自动生成标题的方法，该方法要求生成的标题必须包含给定的短语，如公司或产品名称。我们提出了一种简单的基于 Transformer 的方法，可以保证在生成的标题中包含给定的短语，并考虑了一种新的标题生成策略，利用 Transformer 的可控制生成顺序。我们的实验表明，我们的方法达到了与先前基于 Transformer 的方法相当的 ROUGE 得分，并且我们的生成策略表现更好。

Sep, 2021

通过神经网络模型自动化社交媒体新闻标题的编辑过程，通过使用先前预训练的语言模型及提出的 SIA loss（自我重要性感知）损失函数解决低资源情况下数据集困难的问题，有效提高了新闻编辑质量。

Nov, 2019

本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

Nov, 2018