factuality metrics | BriefGPT

关键词factuality metrics

搜索结果 - 6

EMNLP大型语言模型是否可靠的评判者？一个关于 LLM 事实性评估能力的研究
本研究旨在探讨大型语言模型作为可靠的评估器，用于评估文本生成模型生成的摘要的事实一致性，并发现其在事实性评分中的局限性。
PDF8 months ago
ACL通过对比奖励学习提高抽象摘要生成的准确性
通过对比学习框架和事实度指标的最新发展，本文提出了一种简单而有效的对比学习框架，实证研究表明该框架能够通过对比奖励学习从事实度指标的反馈中学习，从而在人类评估中生成更加符合事实的摘要，这表明学习和评估算法的进一步发展可直接提供更加符合事实的
PDFa year ago
EMNLP多模态抽象摘要中事实性的评估与提高
我们提出了 CLIPBERTScore，一种结合 CLIPScore 和 BERTScore 的加权组合度量方法，用于多模式事实性摘要的评估，并在多个数据集上证明了其效果。
PDF2 years ago
EMNLP使用噪声通道模型在文档驱动对话系统中控制事实性
本文提出了一种模型，通过 Bayes 定理将其分解为两个部分，其中一个是传统的非基础回应生成模型，另一个是基于对话上下文和生成的回应重建基础文档的模型。我们提出了不同的近似解码方案，并在多个开放域和面向任务的基础对话数据集上评估我们的方法，
PDF2 years ago
ACL基于问答的真实性框架在错误定位方面的缺陷
本文分析了以往的研究结果，发现 QA 基础框架在生成摘要时无法正确标定错误位置，并且由于 QG 模块生成的问题中存在非事实性错误，使问题进一步扩散。尽管进行人类辅助的问题生成也并不能轻易地解决这些问题。因此，实验结果表明，QA 框架在错误的
PDF2 years ago
ACL使用 FRANK 来理解抽象摘要中的事实性：一个事实度量的基准
该研究在 CNN/DM 和 XSum 数据集上使用类型学来收集各种摘要模型的生成摘要的人类注释，并使用它来识别各种类别的事实错误的比例，并基准事实度度量标准，显示它们与人类判断的相关性以及它们的特定优点和缺点
PDF3 years ago