本文介绍了一种使用最小化风险训练策略的神经模型，可以在句子级别上优化模型参数，从而显著提高英文和中文新闻标题生成系统的性能。

Apr, 2016

使用最新的 Universal Transformer architecture 和 byte-pair encoding 技巧，对新闻标题生成任务进行了优化，取得了新的最佳 ROUGE-L F1 分数 24.84 和 ROUGE-2 F1 分数 13.48，并提出了新的 RIA 语料库并在其上达到 ROUGE-L F1 分数 36.81 和 ROUGE-2 F1 分数 22.15。

Jan, 2019

本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

Jul, 2020

利用自注意力变换器模型（mBERT, mT5）以及构建新的基准数据集（76.5k 的文章摘要对），在资源有限的语言乌尔都语中，提出了一个自适应低资源摘要方法，能够有效地捕捉低资源语言的上下文信息并取得与英文高资源语言中最先进模型相媲美的评估结果。

Oct, 2023

通过神经网络模型自动化社交媒体新闻标题的编辑过程，通过使用先前预训练的语言模型及提出的 SIA loss（自我重要性感知）损失函数解决低资源情况下数据集困难的问题，有效提高了新闻编辑质量。

Nov, 2019

本文调查了低资源自然语言处理的相关方法，其中包括数据增强、遥感监视和迁移学习等技术以帮助在需要训练数据较少的情况下提高神经模型的性能，并通过说明这些方法的差异帮助选择适合特定低资源设置的技术。

Oct, 2020

研究了低资源语言模型预训练，当可用的句子少于 100,000 条时。在低资源情况下，统计 n-gram 语言模型优于最先进的神经模型，主要是因为前者专注于局部上下文。因此，引入了三种方法来提高神经模型在低资源环境下的性能，发现限制模型的自我注意力是最有效的方法，在英语、印地语和土耳其语等多种语言的下游任务中，NLI 和 POS 标记的准确性提高了高达 5%。

May, 2022

本文探讨了一种自动生成标题的方法，该方法要求生成的标题必须包含给定的短语，如公司或产品名称。我们提出了一种简单的基于 Transformer 的方法，可以保证在生成的标题中包含给定的短语，并考虑了一种新的标题生成策略，利用 Transformer 的可控制生成顺序。我们的实验表明，我们的方法达到了与先前基于 Transformer 的方法相当的 ROUGE 得分，并且我们的生成策略表现更好。

Sep, 2021

试图在不使用人工标注的情况下通过在不同级别上同时使用多个类型的未标注语料库和自投票方法对新闻报道进行标题生成的研究。

Jan, 2020

本文提出了一个新颖的方法，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签，并设计了一个多任务模型 - NewsEmbed，交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。

Jun, 2021