summarization evaluation | BriefGPT

关键词summarization evaluation

搜索结果 - 6

2023 Eval4NLP 子任务：使用促使大型语言模型作为解释性⽅法的度量
介绍了 Eval4NLP 2023 共享任务，要求参与者在机器翻译和摘要评估中探索提示和分数提取，并评估了参与者的方法。在没有 fine-tuning 的限制下，最佳系统的表现与使用更大模型开发的最新的无参考度量标准（包括 GEMBA 和
PDF8 months ago
通过 GPT-4 分析人类偏好判断的影响因素
本文通过利用 Bradley-Terry-Luce 模型对 OpenAI 发布的配对人类判断数据集进行深入研究，探讨影响人类判断的关键因素，揭示了人类判断中的内在偏好，并提出了提高样本效率的策略。最后，本文对于人类判断评估中平衡数据集的构建
PDFa year ago
EMNLP质疑摘要数据集的有效性并提高其事实一致性
本文提出了一个由多种最新事实一致性模型组合而成的方案，用于检测流行摘要数据集中的问题。我们发布了具有改进真实一致性的 SummFC 数据集，并证明在几乎所有质量方面，使用该数据集训练的摘要生成模型都能够获得更好的性能。我们认为 SummFC
PDF2 years ago
基于问题回答的摘要评估度量的答案验证方法基准测试
本文研究基于问答的摘要评估方法，要求自动决定 QA 模型的预测是否正确，即答案验证。通过比较词汇重叠和两种更复杂的文本比较方法，BERTScore 和 LERC，我们发现在某些场景下 LERC 的效果优于其他方法，但在其他场景下表现与词汇重
PDF2 years ago
ACL一种无需训练和参考的摘要评估度量方法：基于中心性加权相关性和自我引用冗余度量
该论文提出了一种无需参考文献且无需训练的摘要评估度量方法，包括中心性加权相关度分数和自我参考冗余分数。实验结果表明，该方法在单篇和多篇文档摘要评估方面显著优于现有方法。
PDF3 years ago
QuestEval: 基于事实的评估对于摘要很重要
本文提出了一种称为 QuestEval 的新方法，通过问题回答模型评估摘要是否包含源文档中的所有相关信息，从而在一致性、连贯性、流畅性和相关性等四个评估维度上，显著改善了与人类判断的相关性，而不需要任何先验参考。
PDF3 years ago