Jun, 2024

PerSEval：文本摘要的个性化评估

PDF
TL;DR个性化摘要模型研究了人们对要点的个人理解，通过他们的阅读历史和当前关注的主题进行表示。本文挑战了精度排行榜的必要性，并提出了一个新的度量指标 PerSEval，用于评估个性化文本摘要的程度。然后，通过在 PENS 数据集上对最新的十个摘要模型进行基准测试，我们验证了 PerSEval 的可靠性和可独立使用的特性。
personalized text summarizersaccuracy measuresegisespersevalsummarization models
发现论文，激发创造
  • 个性化故事评估学习

    通过建立个性化故事评估模型 PERSE，该研究拟解决大语言模型在开放式文本生成方面评估表现困难的问题，并通过两个新数据集 Per-MPST 和 Per-DOC 进行实验，研究结果表明该模型在故事评分和优先级预测方面均优于 GPT-4。

    Oct, 2023

  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • 重温科技论文摘要评估

    本篇论文专门研究了用于科技文章摘要的评估度量，对 ROUGE 的效果进行广泛分析，发现 ROUGE 不太可靠，提出了 SERA 作为科技文章摘要评估的一种有效指标。

    Apr, 2016

  • 统一多场景摘要评估 (UMSE)

    提出了一种用于三种摘要评估方案的统一多方案摘要评估模型（UMSE），其中使用扰动前缀调整方法来共享不同方案之间的信息，通过自监督训练偏向优化统一模型。在常见的标准数据集 SummEval 上进行的实验结果表明，UMSE 的性能可以与专门针对每种情况进行设计的现有强方法相媲美。

    May, 2023

  • OpinSummEval: 重新审视舆情摘要自动评估

    观点总结与其他类型的总结任务有所不同，因为其独特关注于方面和情感。本文介绍了 OpinSummEval，它是一个包含人工评价和 14 个观点总结模型输出的数据集。我们进一步探讨了 24 个自动评估指标与人工评分之间在四个维度上的相关性。结果表明，基于神经网络的指标通常优于非神经网络的指标。然而，即使是构建在强大的模型基础之上，如 BART 和 GPT-3/3.5，也不能在所有维度上一致地与人工评分相关，凸显了观点总结自动评估方法的进步需求。代码和数据可在此 URL 公开获取。

    Oct, 2023

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • 利用词嵌入进行 ROUGE 更好的摘要评估

    本文探讨了借助 Word Embedding 计算摘要中的语义相似度来代替传统的基于词汇重叠度的 ROUGE 自动评估方法存在的偏差，实验结果显示该方法比传统方法更能准确地与人工评估结果相符。

    Aug, 2015

  • 通过将上下文嵌入分配给参考文本主题来实现可解释的摘要评估

    本文提出了一种基于多方面可解释性的自动摘要评估方法（MISEM），包括语义主题识别和交互式可视化分析工具。该方法针对自动生成的摘要进行评估，达到了.404 的人类判断相关性，能够通过单一评分系统难以实现的透明评估和深度质量分析。

    Oct, 2022

  • 跨语言文本摘要评估的有效性评估

    本文旨在系统评估英语汇总评估方法在其他语言下的效力，并通过对八种不同语言的汇总语料库进行人工注释和 19 种汇总评估指标的评估，发现使用多语言 BERT 作为 BERTScore 的评估方法在所有语言下均表现出良好的效果，超过了英文水平。

    Jun, 2021

  • 作为自动评估指标的问答系统在新闻文章摘要中的应用

    本研究提出新的评估指标 Answering Performance for Evaluation of Summaries (APES)，结合阅读理解领域的进展，通过对中心实体进行手动创建问题的回答能力来评估文章摘要或新闻标题的质量，并提出一种端到端的神经抽象模型，以最大化 APES 和 ROUGE 得分。

    Jun, 2019