factuality evaluation | BriefGPT

关键词factuality evaluation

搜索结果 - 9

VERISCORE：评估长文生成的可验证主张的真实性
现有的方法不能适用于大多数生成任务，VERISCORE 是一种用于多样长文本生成任务的度量指标，它包含可验证和不可验证内容，并通过人工评估验证。
PDF9 days ago
OpenFactCheck：面向 LLMs 的事实性评估统一框架
基于大型语言模型（LLMs）的事实性评估框架 OpenFactCheck，包括自定义自动事实检查器 CUSTCHECKER、多角度评估 LMM 事实性的统一评估框架 LLMEVAL 和使用人工标注数据集评估自动事实检查器验证结果可靠性的 C
PDF2 months ago
FENICE: 基于自然语言推理和主张提取的摘要真实性评估
最近在文本摘要方面的最新进展，尤其是随着大型语言模型（LLM）的出现，其表现出色。然而，存在一个明显的挑战，即大量自动生成的摘要存在事实不一致的问题，如幻觉。针对这个问题，出现了各种检验摘要一致性的方法。然而，这些新引入的度量指标都存在一些
PDF4 months ago
SyllabusQA：课程逻辑问答数据集
自动教学助理和聊天机器人在减轻人工教师负担方面具有重要潜力，特别是对于物流相关问题的回答，这对学生而言非常重要但对教师而言却是重复的。然而，由于隐私问题，缺乏公开可用的数据集。我们介绍了 SyllabusQA，一个开源数据集，其中包含 63
PDF4 months ago
多模式摘要的细粒度和可解释性事实评估
多模态概括旨在根据文本和图像生成简洁的摘要，但现有方法潜在地存在不实输出。为了评估多模态概括模型的真实性，我们提出了两个细粒度且可解释的评估框架（FALLACIOUS），用于不同的应用场景，即基于参考物的真实性评估框架和基于非参考物的真实性
PDF5 months ago
FELM: 大型语言模型真实性评估基准
评估大型语言模型产生的文本的真实性是一个新兴而关键的研究领域，目的是提醒用户潜在错误并引导更可靠的语言模型的开发。为了解决这个问题，我们介绍了一个名为 felm 的大型语言模型真实性评估基准，该基准收集了来自语言模型的响应并以细化的方式注释
PDF9 months ago
LM vs LM: 通过交叉审查检测事实性错误
本文提出了一种基于交叉验证的自然语言模型事实评估框架，通过多轮交互和另一个模型的提问来发现不一致性，实验证明该方法在捕捉事实错误方面优于现有方法和基线。
PDFa year ago
FactKB：使用增强事实知识的语言模型进行可泛化事实性评估
文章提出了一种新的事实评估方法 FactKB，该方法使用基于预先抽取的实体知识的语言模型，以达到跨领域的通用性并解决现有模型在新领域中存在的实体和关系错误问题。通过在两个领域内的新闻汇总测试数据和三个跨领域的科学文献数据上测试，FactKB
PDFa year ago
EMNLPCLIFF: 用对比学习提高摘要的忠实度和事实性
通过对比学习和负样本生成，提出一个能够生成与给定文章相符的抽象摘要的方法，并使用 QA 验证和人类评判证明其能够更准确地反映事实。
PDF3 years ago