EMNLPOct, 2022

能量排名提升抽象化摘要

PDF
TL;DR本文提出了一种基于能量的模型，利用自动评估指标和重排机制对生成的摘要进行排序，以解决当前抽象摘要系统存在的问题。我们的实验结果表明，这种方式可以提高生成摘要的得分，但对高度抽象的摘要的应用要小心，因为现有的指标还不足够可靠。
abstractive summarizationfactual inconsistenciesautomatic evaluation metricsenergy-based modelre-ranking approach
发现论文，激发创造
  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • 在抽象摘要中平衡词汇和语义质量

    本文针对序列到序列的神经网络中常见的曝光偏差问题，提出了一种在词法和语义质量之间平衡的重排序方法，并以 BERTScore 为衡量标准，在 CNN/DailyMail 数据集上实现了新的最优表现。

    May, 2023

  • 答案联合！增强摘要模型的无监督度量

    使用强化学习的抽象化概括方法已经被提出来克服传统极大似然估计的限制，提出了一些使用问题回答作为替代评价指标的模型，并在人工和自动评价指标上取得了较大的提升。

    Sep, 2019

  • 强大长文摘要化还有多远？

    本文通过对长文档的人工精细注释对抽象大纲概述系统进行了评估，并显示了 ROUGE 在长文档摘要内容相关性评估方面的优越性，并提出了发展事实一致性度量的方向。最后，我们发布了我们注释的长文档数据集，希望能为更广泛的概述设置开发度量做出贡献。

    Oct, 2022

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • SummaReranker：一个多任务专家混合再排序框架用于抽象摘要

    该研究使用深度学习模型进行文本自动摘要，通过重新排序生成的摘要，显著提高了 ROUGE 1 得分。

    Mar, 2022

  • 走向摘要候选项融合

    使用 SummaFusion 作为第二阶段抽象化摘要的方法，可以融合多个摘要候选人，达到更好的摘要效果。

    Oct, 2022

  • 重温科技论文摘要评估

    本篇论文专门研究了用于科技文章摘要的评估度量，对 ROUGE 的效果进行广泛分析，发现 ROUGE 不太可靠，提出了 SERA 作为科技文章摘要评估的一种有效指标。

    Apr, 2016

  • 长文本摘要中，内容和预算决策的分解

    通过将自动生成摘要的过程拆分成两个步骤，然后根据预算和内容指南将这些步骤组合成最终摘要，从而提高了长文档摘要的性能，并实现了域自适应。

    May, 2022

  • 评估测量经常在低分数范围内出现分歧：重新审视摘要评估测量指标

    本文讨论了人工评价与自动评价在文本摘要中的应用，并提出了评价指标间的差异和相关性。研究发现评价指标的互相协议性取决于摘要的得分范围、摘要易于摘要的程度、摘要抽象程度和覆盖范围等方面。

    Nov, 2020