SIGIRDec, 2019

利用引线偏差进行零 - shot 抽象新闻摘要

PDF
TL;DR本文提出了一种利用新闻报道中引文偏见进行先训练的方法，以预测文章中的前导句。作者把这种方法应用到 BART 和 T5 模型中，为领域适应打下基础，并通过六个基准数据集的实验表明，这种方法可以显著提高摘要质量，取得了零调整的新闻摘要的最新成果。
abstractive news summarizationlead biaspre-trainingself-supervised learningstate-of-the-art results
发现论文，激发创造
  • 通过多阶段训练和辅助损失对抗新闻摘要中的主观倾向

    本文提出两种技术来使系统对文章不同部分的重要性敏感，一种是使用随机排序的句子进行预训练，一种是使用基于 ROUGE 的 Auxiliary Loss 来分散整个文档中的重要性得分，这些技术可以显着提高基于强化学习的抽取系统的性能。

    Sep, 2019

  • 通过交替对抗学习降低新闻摘要中的主导偏见

    该研究提出了一种新的技术来减少新闻文章中的领导偏见，使自动文摘模型更加关注内容语义。实验表明此方法可以有效地减少模型学习到的领导偏见，在分布不均匀的数据上具有更好的泛化性能，而在分布均匀的数据上效果无损。

    May, 2021

  • 在大型语言模型时代从位置偏差的角度重新审视零样本抽象摘要生成

    我们通过测量位置偏差来表征和研究大型语言模型中的零样本抽象概括，位置偏差是我们提出的对前人文献中更为严格的引导偏差现象的一种普遍公式。通过在四个多样化的实际数据集上进行多次实验，我们研究了 GPT 3.5-Turbo、Llama-2 和 Dolly-v2 等多个 LLM 模型以及 Pegasus 和 BART 等最先进的预训练编码解码抽象概括模型中的位置偏差。我们的发现为零样本概括任务的模型性能和位置偏差带来了新的见解和讨论。

    Jan, 2024

  • 基于 Transformer 模型的新闻标题生成技术进展

    本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

    Jul, 2020

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 自动新闻摘要

    本研究论文针对新闻文本自动摘要的抽取和生成方法进行了广泛的比较评估，重点分析了 ROUGE 分数。研究使用 CNN-Daily Mail 数据集，包括新闻文章和人工生成的参考摘要。通过 ROUGE 分数评估生成摘要的效果和质量，再将表现最佳的模型整合到 Web 应用程序中，评估其在真实世界中的能力和用户体验。

    Oct, 2023

  • NeuS: 用于减轻框架偏差的中立多新闻摘要

    本文提出了一种从多个政治倾向变化的新闻文章中生成中性摘要的新任务，设计了有效的度量标准和模型（NeuS-TITLE）并通过标题到文章这种层次结构的方式来实现中性化。

    Apr, 2022

  • 提高标题生成的真实性

    本文旨在提高生成式摘要的真实性，在两个流行数据集上进行了标题生成的研究，发现总结存在虚假性，且虚假性的监督数据会导致模型行为不真实，通过二分类器过滤掉虚假数据并重新训练模型可以在不影响 ROUGE 分数的情况下提高摘要标题的真实性。

    May, 2020

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • 使用预训练模型的抽象文本摘要分析

    本文评估了不同预训练模型在不同数据集上的文本摘要效果，通过 ROUGE 和 BLEU 指标比较了三种不同预训练模型在 CNN-dailymail、SAMSum 和 BillSum 三个数据集上的性能表现。

    Feb, 2023