通过多阶段训练和辅助损失对抗新闻摘要中的主观倾向

EMNLPSep, 2019

通过多阶段训练和辅助损失对抗新闻摘要中的主观倾向

Countering the Effects of Lead Bias in News Summarization via Multi-Stage Training and Auxiliary Losses

Matt Grenander, Yue Dong, Jackie Chi Kit Cheung, Annie Louis

TL;DR本文提出两种技术来使系统对文章不同部分的重要性敏感，一种是使用随机排序的句子进行预训练，一种是使用基于 ROUGE 的 Auxiliary Loss 来分散整个文档中的重要性得分，这些技术可以显着提高基于强化学习的抽取系统的性能。

Abstract

Sentence position is a strong feature for news summarization, since the lead often (but not always) summarizes the key points of the article. In this paper, we show that recent neural systems excessively exploit

news summarization neural systems importance scores rouge-based loss reinforcement learning

发现论文，激发创造

利用引线偏差进行零 - shot 抽象新闻摘要

本文提出了一种利用新闻报道中引文偏见进行先训练的方法，以预测文章中的前导句。作者把这种方法应用到 BART 和 T5 模型中，为领域适应打下基础，并通过六个基准数据集的实验表明，这种方法可以显著提高摘要质量，取得了零调整的新闻摘要的最新成果。

Dec, 2019

通过交替对抗学习降低新闻摘要中的主导偏见

该研究提出了一种新的技术来减少新闻文章中的领导偏见，使自动文摘模型更加关注内容语义。实验表明此方法可以有效地减少模型学习到的领导偏见，在分布不均匀的数据上具有更好的泛化性能，而在分布均匀的数据上效果无损。

May, 2021

抽象摘要中的句子重写的摘要级别训练

本文通过使用句子重写模型，采用先提取常规句子，后对所选句子进行释义来生成摘要的策略，提出了一种通过强化学习直接最大化摘要级别 ROUGE 得分的新型训练信号，并在 CNN / Daily Mail 和纽约时报数据集上展示了新的最先进表现。在整个实验中，我们还演示了它在 DUC-2002 测试集上的普遍适用性。

Sep, 2019

用强化学习为抽取式摘要排序

提出了一种用于单文档大意提取的全新算法，能够通过强化学习目标全局优化 ROUGE 评估指标，并在 CNN 和 DailyMail 数据集上进行了实验，展示它在人工和自动评估中均优于现有抽取和生成式提取系统的神经大意提取模型。

Feb, 2018

早并不总是更好：自动摘要中文本和系统偏见的子方面分析

对于神经摘要系统的明显改进及其依赖的语料库的基础逻辑尚未得到广泛探讨，因此本文提出了摘要的三个子方面：位置、重要性和多样性，并针对九个不同的摘要语料库（例如新闻、学术论文、会议纪要、电影剧本和书籍）进行了广泛分析。研究发现，尽管位置在新闻报道中存在重大偏见，但在学术论文和会议纪要等其他领域不是这种情况。此外，我们的经验证明不同类型的自动摘要系统（例如基于神经网络）由不同程度的子方面组成。因此，本研究提供了有关在收集新的摘要数据集或开发新系统时考虑基础子方面的有用信息。

Aug, 2019

在抽象摘要中平衡词汇和语义质量

本文针对序列到序列的神经网络中常见的曝光偏差问题，提出了一种在词法和语义质量之间平衡的重排序方法，并以 BERTScore 为衡量标准，在 CNN/DailyMail 数据集上实现了新的最优表现。

May, 2023

通过检测和消除输入噪音来提高摘要模型的鲁棒性

本文介绍了一个大型实证研究，量化了不同类型噪声的严重性损失，以及提出的一种轻量级方法，用于检测和消除模型推理中的输入噪声，有效地缓解了性能降低。

Dec, 2022

在大型语言模型时代从位置偏差的角度重新审视零样本抽象摘要生成

我们通过测量位置偏差来表征和研究大型语言模型中的零样本抽象概括，位置偏差是我们提出的对前人文献中更为严格的引导偏差现象的一种普遍公式。通过在四个多样化的实际数据集上进行多次实验，我们研究了 GPT 3.5-Turbo、Llama-2 和 Dolly-v2 等多个 LLM 模型以及 Pegasus 和 BART 等最先进的预训练编码解码抽象概括模型中的位置偏差。我们的发现为零样本概括任务的模型性能和位置偏差带来了新的见解和讨论。

Jan, 2024

单文档新闻摘要中的（非）重要内容检测

本研究提出了一种鲁棒的方法，通过训练文档 - 摘要配对的语料库来检测新闻中内在句子的重要性，并结合‘文档开头’启发式方法，用于单篇文档摘要，得到了比现有先进摘要算法和基线方法更好的结果，这是一个重要的进步。

Feb, 2017

自动新闻摘要

本研究论文针对新闻文本自动摘要的抽取和生成方法进行了广泛的比较评估，重点分析了 ROUGE 分数。研究使用 CNN-Daily Mail 数据集，包括新闻文章和人工生成的参考摘要。通过 ROUGE 分数评估生成摘要的效果和质量，再将表现最佳的模型整合到 Web 应用程序中，评估其在真实世界中的能力和用户体验。

Oct, 2023