ACLMay, 2023

统一多场景摘要评估 (UMSE)

PDF
TL;DR提出了一种用于三种摘要评估方案的统一多方案摘要评估模型（UMSE），其中使用扰动前缀调整方法来共享不同方案之间的信息，通过自监督训练偏向优化统一模型。在常见的标准数据集 SummEval 上进行的实验结果表明，UMSE 的性能可以与专门针对每种情况进行设计的现有强方法相媲美。
summarization quality evaluationreference-basedreference-freeneural modelsumse
发现论文，激发创造
  • 文本摘要中不确定性估计方法的性能评估可信吗？

    通过引入综合评估标准，研究本文对两个大型语言模型和一个预训练语言模型在三个数据集上进行的不确定性估计能力的评估表明，多个不相关的自然语言生成指标和多样化的不确定性估计方法对于可靠高效地评估 UE-TS 技术至关重要。

    Jun, 2024

  • 通过将上下文嵌入分配给参考文本主题来实现可解释的摘要评估

    本文提出了一种基于多方面可解释性的自动摘要评估方法（MISEM），包括语义主题识别和交互式可视化分析工具。该方法针对自动生成的摘要进行评估，达到了.404 的人类判断相关性，能够通过单一评分系统难以实现的透明评估和深度质量分析。

    Oct, 2022

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • USB：跨任务和领域的统一摘要基准

    本研究提出一个多维理解摘要的基准测试，并在其上比较了多种模型的性能，发现中等规模的微调模型在多个任务上始终优于更大的几次提示语言模型。同时发现，对于某些任务，训练数据的数量比其来源领域更重要，而对于其他任务，尽管数据量有限，但特定领域的数据更为有益。

    May, 2023

  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020

  • UniSumm: 统一的 Few-shot 摘要生成：多任务预训练和前缀微调

    提出一种称为 UniSumm 的统一的 few-shot summarization 模型来共同处理多个任务，并可前缀调整以适应任何 few-shot summarization 数据集，并宣传了一个新的基准 SummZoo，其由 8 个不同的生成任务组成， 结果表明，UniSumm 超越了强基准系统，并在 SummZoo 的所有任务中都通过自动和人工评估实现了更好的效果。

    Nov, 2022

  • 重新审视黄金标准：用稳健的人类评估来立足摘要评估

    本文探讨了现有自动摘要的人工评估协议和基准的不足，提出了基于精细语义单元的修改版自动摘要重要性协议（ACU）和大型人工评估数据集（RoSE），并与其他人工评估协议进行了比较，证明了新的基准标注有助于更为稳定和显著的自动度量结果，可用于调整大型语言模型。

    Dec, 2022

  • SUMIE: 增量实体摘要的合成基准

    SUMIE 是一个完全合成的数据集，用于暴露现实世界的增量实体摘要挑战，验证了生成的摘要与段落之间的高质量一致性，该数据集难度高，先进的语言模型在更新摘要时的 F1 得分超过 80.4%。

    Jun, 2024

  • EntSUM：面向实体的摘要数据集

    该研究提出了一个面向实体的可控摘要任务，并介绍了一个名为 EntSUM 的人工注释数据集，证明了现有的可控摘要方法无法生成实体为中心的摘要，提出了一种方法来改善此问题。

    Apr, 2022

  • PerSEval：文本摘要的个性化评估

    个性化摘要模型研究了人们对要点的个人理解，通过他们的阅读历史和当前关注的主题进行表示。本文挑战了精度排行榜的必要性，并提出了一个新的度量指标 PerSEval，用于评估个性化文本摘要的程度。然后，通过在 PENS 数据集上对最新的十个摘要模型进行基准测试，我们验证了 PerSEval 的可靠性和可独立使用的特性。

    Jun, 2024