ACLMay, 2023

医学多文献摘要自动评估指标与人类评估不符

PDF
TL;DR为了改进文献综述的多文件摘要 (MDS)，引入包含人工评估的摘要质量特征和成对偏好的数据集，以支持开发更好的自动评估方法，分析了自动摘要评估度量与生成的摘要词汇特征、其他自动度量以及人工评估摘要质量方面的相关性。发现自动化度量无法完全捕捉到人工评估所评估的质量方面。
multi-document summarizationbiomedical literature reviewsautomated evaluation metricsmslr shared taskhuman-assessed summary quality
发现论文，激发创造
  • 重新审视生物医学领域中自动问题摘要评估

    本研究针对生物医学领域的问答摘要任务，从四个不同角度进行了人工评估，用以评估现有的自动化摘要评估指标和系统的可行性，并公布了人工注释数据集，以促进生物医学领域的摘要评估方法的研究。

    Mar, 2023

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • 多文档摘要中的语料库评估和系统偏差检测

    本文通过使用多个 MDS 语料库和一系列最先进的模型来研究这个异构任务，并尝试量化纲要质量并提出考虑制定新 MDS 纲要的要点。此外，我们分析了缺乏在所有语料库上均实现卓越性能的 MDS 系统的原因，并观察到流程度受到系统指标度量的影响，并由于语料库属性而传播偏见。

    Oct, 2020

  • 评估测量经常在低分数范围内出现分歧：重新审视摘要评估测量指标

    本文讨论了人工评价与自动评价在文本摘要中的应用，并提出了评价指标间的差异和相关性。研究发现评价指标的互相协议性取决于摘要的得分范围、摘要易于摘要的程度、摘要抽象程度和覆盖范围等方面。

    Nov, 2020

  • 多篇文档摘要如何 “多”?

    本文介绍一种用于评估多文档摘要生成模型及数据集中数据分散程度的自动化度量方法，并检验几个流行的多文档摘要数据集，结果表明某些数据集没有利用多文档信息，提出应用该度量方法评估数据集和模型的性能。

    Oct, 2022

  • 自动医疗记录生成评估指标研究

    本文旨在研究自动生成临床笔记的评估方法和度量标准，提出了新的任务特定度量标准，并将其与现有文本摘要和生成的 SOTA 度量标准进行比较，研究分布和测量不同的自动摘要的正确性，并试图确定与人类判断相一致的最佳自动评估指标。

    May, 2023

  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020

  • 深度学习技术在多文档摘要中的应用：一项调查

    本文回顾了近期基于深度学习的多文档摘要模型，提出了新的分类方法以及对这个领域的现状进行了综合总结，并且强调了现有文献中很少讨论的各种目标函数之间的区别，最后对未来发展方向提出了几个建议。

    Nov, 2020

  • 多文档摘要：一项比较评估

    本研究通过对不同领域不同类型数据集上的最新多文档摘要模型进行评估，探究现有模型的局限性，为未来研究方向提供参考。研究发现，在 MS2 数据集中，通用预训练模型 LED 的表现优于 PRIMERA 和 PEGASUS 模型。本研究以 ROUGE 得分作为性能衡量指标，为不同领域中这些模型的优势、弱点以及适用性提供了有价值的见解，有助于开发能够适用于要求高、学术和 / 或科学复杂数据以及常规相对简单数据集的准确且强大的模型。

    Sep, 2023