使用最新的 Universal Transformer architecture 和 byte-pair encoding 技巧，对新闻标题生成任务进行了优化，取得了新的最佳 ROUGE-L F1 分数 24.84 和 ROUGE-2 F1 分数 13.48，并提出了新的 RIA 语料库并在其上达到 ROUGE-L F1 分数 36.81 和 ROUGE-2 F1 分数 22.15。

Jan, 2019

试图在不使用人工标注的情况下通过在不同级别上同时使用多个类型的未标注语料库和自投票方法对新闻报道进行标题生成的研究。

Jan, 2020

通过 NumHG 数据集，本研究针对标题生成任务中的数字生成问题，对头条生成模型进行了详细调查和评估，并发现数字准确性需要改进，从而表明了 NumHG 数据集在数字为重点的标题生成中推动进展和刺激进一步讨论的潜力。

Sep, 2023

本文介绍了我们的系统，以应对针对于 SemEval-2022 任务 8：多语言新闻文章相似性。我们提出了一种受语言学启发的模型，采用了几个任务特定的策略进行训练。我们的系统的主要技术包括：1）数据增强，2）多标签损失，3）适应 R-Drop，4）头尾组合中的样本重构。我们还对一些负面方法进行了简要分析，例如两塔架构。我们的系统在排行榜上排名第 1，并在官方评估集上实现了 0.818 的皮尔逊相关系数。

Apr, 2022

利用大型语言模型（LLMs），本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异，ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性，旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义，强调了在技术先进的同时，还需要考虑伦理道德和人类解读的微妙性。

May, 2024

通过提供第一个标记有语法依存树的通用语言标题新闻语料库，我们旨在弥补语言处理句法分析领域对新闻标题的关注不足。通过从未标记的新闻标题 - 文章引文对中获取银标签训练数据来改进英语新闻标题的分析准确性，我们发现训练基于银标题解析的模型比仅基于黄金注释长格式文本训练的模型性能有显着提高。最终，我们发现尽管投影的银标签训练数据可以提高解析器在不同新闻媒体上的性能，但是该提高是受特定出版物特有结构的调节的。

Jan, 2023

本文介绍了一种使用最小化风险训练策略的神经模型，可以在句子级别上优化模型参数，从而显著提高英文和中文新闻标题生成系统的性能。

Apr, 2016

本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

Jul, 2020

我们提出了新的预训练方法，以提高对于小型数据集的神经标题生成模型的质量，这些方法使所有模型参数均能够被预训练并利用所有可用的文本，相比较而言模型困惑度与 ROUGE 评估指标表现提升了 32.4％和 2.84 分。

Jul, 2017

本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

Feb, 2021