Apr, 2024

CASPR：对比摘要的自动评估指标

PDF
TL;DR本文提出了一种基于自然语言推理（NLI）的自动评估指标 CASPR，用于更好地测量摘要对之间的对比度，并通过对比实验结果表明，CASPR 相比于其他基准方法能够更可靠地捕捉到摘要对之间的对比度。
contrastive summarizationautomated evaluation metriccasprdistinctiveness scorecocotrip
发现论文，激发创造
  • 通过对比学习无监督无参考摘要质量评估

    本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

    Oct, 2020

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • OpinSummEval: 重新审视舆情摘要自动评估

    观点总结与其他类型的总结任务有所不同，因为其独特关注于方面和情感。本文介绍了 OpinSummEval，它是一个包含人工评价和 14 个观点总结模型输出的数据集。我们进一步探讨了 24 个自动评估指标与人工评分之间在四个维度上的相关性。结果表明，基于神经网络的指标通常优于非神经网络的指标。然而，即使是构建在强大的模型基础之上，如 BART 和 GPT-3/3.5，也不能在所有维度上一致地与人工评分相关，凸显了观点总结自动评估方法的进步需求。代码和数据可在此 URL 公开获取。

    Oct, 2023

  • 基于交叉编码器的综合摘要质量评估指标 SummScore

    提出了一种综合的衡量文本摘要质量的度量标准 SummScore，使用 CrossEncoder 作为基础模型，并采用四个精细化的子模型来分别衡量连贯性、一致性、流畅度和相关性，并在极度受限的标注数据上进行半监督多轮训练，显著优于现有的评估指标。

    Jul, 2022

  • 协作解码的比较意见摘要

    该论文提出了比较意见摘要任务，即从两个不同的候选评论集中生成两个对比摘要和一个共同摘要。作者开发了一个比较摘要框架 CoCoSum，可以更好地生成对比和共同摘要。

    Oct, 2021

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • 跨语言文本摘要评估的有效性评估

    本文旨在系统评估英语汇总评估方法在其他语言下的效力，并通过对八种不同语言的汇总语料库进行人工注释和 19 种汇总评估指标的评估，发现使用多语言 BERT 作为 BERTScore 的评估方法在所有语言下均表现出良好的效果，超过了英文水平。

    Jun, 2021

  • 医学多文献摘要自动评估指标与人类评估不符

    为了改进文献综述的多文件摘要 (MDS)，引入包含人工评估的摘要质量特征和成对偏好的数据集，以支持开发更好的自动评估方法，分析了自动摘要评估度量与生成的摘要词汇特征、其他自动度量以及人工评估摘要质量方面的相关性。发现自动化度量无法完全捕捉到人工评估所评估的质量方面。

    May, 2023

  • 面向 facet 的提取式摘要评估

    本文旨在为提高文本摘要信息覆盖性的评估提供一个新的基于 Facet 的评估方式，通过构建 CNN / Daily Mail 数据集的提取版本，在量化研究中证明，相对于 ROUGE，facet-aware 评估更好地与人类判断相关，能够实现细粒度评估和比较分析，并揭示了最先进的摘要方法的有价值的见解。

    Aug, 2019

  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020