May, 2023

SEAHORSE：一份用于摘要评估的多语言、多方面数据集

HTML
PDF
TL;DR本篇论文介绍了一个名为SEAHORSE的多语言，多方面的汇总评估数据集，其中包含了96K个人工评分，覆盖6种语言，9种系统和4个数据集。同时，该数据集的规模和范围还可以作为评估学习指标和训练指标的大规模资源。研究者证明，通过使用SEAHORSE训练出的指标可以在跨域流行的元评估基准中获得良好的性能。
发现论文，激发创造
  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020

  • WikiLingua：一种用于跨语言主旨提取的新基准数据集

    该研究介绍了 WikiLingua 项目，这是一个用于跨语言抽象摘要系统评估的大型多语种数据集。该数据集从 WikiHow 中提取出18种语言的文章和摘要对。研究者们使用图像对齐的方法为不同语言版本的文章与摘要建立起对应关系，并提出了一个使用合成数据和神经机器翻译的预训练方法进行直接跨语言摘要的方法，取得了显著的性能提升。

    Oct, 2020

  • XL-Sum：针对 44 种语言的大规模多语言抽象摘要

    该研究介绍了一份名为“XL-Sum”的全面而多样化的数据集，其中包含来自44种语言的100万篇新闻文章及其摘要，旨在支持跨语言抽象文本摘要的未来研究工作，且在许多语言上可实现尤其高的ROUGE-2分数。

    Jun, 2021

  • 重新审视黄金标准：用稳健的人类评估来立足摘要评估

    本文探讨了现有自动摘要的人工评估协议和基准的不足，提出了基于精细语义单元的修改版自动摘要重要性协议（ACU）和大型人工评估数据集（RoSE），并与其他人工评估协议进行了比较，证明了新的基准标注有助于更为稳定和显著的自动度量结果，可用于调整大型语言模型。

    Dec, 2022

  • 大型语言模型是否适合作为抽象概括的评估器？

    本文旨在探讨使用 LLMS（例如“gpt-3.5-turbo”）作为自动评估器来评估摘要的性能，并比较了不同的评估方法和提示格式对其评估能力的影响。作者建议哪些提示格式可以提高LLM的性能，并讨论了LLM的评估能力随摘要质量和评估维度的变化。

    May, 2023

  • USB：跨任务和领域的统一摘要基准

    本研究提出一个多维理解摘要的基准测试，并在其上比较了多种模型的性能，发现中等规模的微调模型在多个任务上始终优于更大的几次提示语言模型。同时发现，对于某些任务，训练数据的数量比其来源领域更重要，而对于其他任务，尽管数据量有限，但特定领域的数据更为有益。

    May, 2023

  • GUMSum：英文抽象摘要的多语种数据和评估

    本文提出了 GUMSum 数据集，旨在评估抽象概括的英语摘要。该数据集高度约束，注重替换潜力、事实和忠实度，结果显示 GPT3 达到了令人印象深刻的得分，但仍然表现不如人类，并且不同类型的错误揭示了生成好概括的挑战。

    Jun, 2023

  • BooookScore：基于LLMs时代的图书摘要系统性研究

    通过两种工作流程 (层级合并、递增更新) 实现基于 LLM 的书籍摘要器的连贯性研究，发现 LLM 会出现八种常见的连贯性错误，并提出了一个自动评估指标 BooookScore，与人工标注结果一致，可用于系统评估其他关键参数的影响，同时节省了人工评估成本。

    Oct, 2023

  • 科学摘要评估的反思：在面向因素的基准上建立可解释指标

    本研究分析和评估了预训练的大型语言模型在科学文献摘要中的应用，并介绍了Facet-aware Metric评估方法以及Facet-based科学摘要数据集的构建。研究表明，Facet-aware Metric提供了一种更加合理的科学摘要评估方法，而在科学领域，经过精细调整的较小模型可以与大型语言模型竞争，但大型语言模型在学习科学领域中的上下文信息方面存在局限性，需要进一步改进。

    Feb, 2024

  • UniSumEval：迈向统一的、细粒度的、多维度的摘要评估

    本研究解决了现有摘要质量评估基准在输入场景多样性、维度定义狭窄以及主观注释不精准等方面的不足。通过创建UniSumEval基准，本文提出了一种新的方法，拓宽了输入上下文范围并提供了细粒度、多维度的注释，显著提升了对最新语言模型摘要性能的评估效果。本研究的成果将为未来的摘要评估提供更全面的参考。

    Sep, 2024