EMNLPOct, 2020

通过对比学习无监督无参考摘要质量评估

PDF
TL;DR本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。
document summarizationrougeunsupervised contrastive learningbertevaluation method
发现论文，激发创造
  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • SueNes：一种弱监督方法通过负采样评估单文档摘要

    本文提出了一种无需参考摘要的弱监督自动摘要评估方法，通过将现有摘要数据集中的大量数据与损坏的参考摘要进行配对来训练，实现了横向领域测试，证明了该方法在语言质量评估方面具有很大优势。

    May, 2020

  • 答案联合！增强摘要模型的无监督度量

    使用强化学习的抽象化概括方法已经被提出来克服传统极大似然估计的限制，提出了一些使用问题回答作为替代评价指标的模型，并在人工和自动评价指标上取得了较大的提升。

    Sep, 2019

  • CLIFF: 用对比学习提高摘要的忠实度和事实性

    通过对比学习和负样本生成，提出一个能够生成与给定文章相符的抽象摘要的方法，并使用 QA 验证和人类评判证明其能够更准确地反映事实。

    Sep, 2021

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • 在抽象摘要中平衡词汇和语义质量

    本文针对序列到序列的神经网络中常见的曝光偏差问题，提出了一种在词法和语义质量之间平衡的重排序方法，并以 BERTScore 为衡量标准，在 CNN/DailyMail 数据集上实现了新的最优表现。

    May, 2023

  • SUPERT：面向多文档摘要的无监督评估指标的新领域

    该研究提供了一种新的评价未经监督的多文档摘要技术的方法，使用上下文化嵌入和软标记对齐技术对其语义相似性进行评估，并提出了一个可用于引导深度学习模型的奖励函数，其在性能上优于现有的未监督摘要模型。

    May, 2020

  • 以问答形式作为自动度量指标，评估摘要的内容质量

    提出一种基于问答的评估度量标准（QAEval）来评估摘要的内容质量，通过分析 QAEval，证明 QA-based methods 相较于传统的基于文本内部匹配的度量标准（如 ROUGE）更加准确。

    Oct, 2020

  • 文本摘要的序列级对比学习

    本文提出了一种对比学习模型，用于文本摘要的有监督抽象，通过将文档、其黄金摘要和模型生成的摘要视为同一平均表示的不同视图，并在训练过程中最大化它们之间的相似性，从而改进了强序列到序列的文本生成模型（即 BART）。人类评估也显示，我们的模型与没有对比目标的对应模型相比，实现了更好的忠实度评分。

    Sep, 2021

  • QuestEval: 基于事实的评估对于摘要很重要

    本文提出了一种称为 QuestEval 的新方法，通过问题回答模型评估摘要是否包含源文档中的所有相关信息，从而在一致性、连贯性、流畅性和相关性等四个评估维度上，显著改善了与人类判断的相关性，而不需要任何先验参考。

    Mar, 2021