factual inconsistencies | BriefGPT

关键词factual inconsistencies

搜索结果 - 8

FENICE: 基于自然语言推理和主张提取的摘要真实性评估
最近在文本摘要方面的最新进展，尤其是随着大型语言模型（LLM）的出现，其表现出色。然而，存在一个明显的挑战，即大量自动生成的摘要存在事实不一致的问题，如幻觉。针对这个问题，出现了各种检验摘要一致性的方法。然而，这些新引入的度量指标都存在一些
PDF4 months ago
搜索引擎后 ChatGPT：生成人工智能如何使搜索更不可靠
搜索引擎在生成式人工智能（GenAI）开始生成、索引和分发内容时面临挑战，包括事实不一致和偏见。GenAI 输出带有不合理的可信度，降低了透明性和信息来源能力，搜索引擎已经通过错误内容回答问题，进一步模糊了信息的来源，影响信息生态的完整性。
PDF5 months ago
Factcheck-GPT: 端到端的细粒度文档级事实检查与纠正 LLM 输出
该研究介绍了一种针对大型语言模型输出进行事实准确性注释的综合解决方案，包括多阶段的注释方案和注释工具的设计，以识别 LLM 输出中的可验证性和事实不一致性，并构建了三个层次粒度的开放领域文档级事实性基准。初步实验结果表明，已有工具在识别错误
PDF8 months ago
EMNLP快速准确的长文档事实不一致检测
SCALE 是一种用于检测事实不一致的任务无关模型，通过使用新的分块策略，它使用大型文本块对长文本进行条件建模，其在多种任务和长文本的事实不一致检测方面实现了最先进的性能，并通过相关源句检索来解释决策。
PDF8 months ago
LLMs 作为事实推理器：现有基准和未来展望的洞见
通过提出新的数据集 SummEdits 来解决现有基准测试中存在的缺点，该数据集比以前的数据集更高效且高度可重复。然而，大多数 LL 模型在 SummEdits 上表现不佳，最好的 GPT-4 模型仍然比人类的表现差 8％，这凸显了 LL
PDFa year ago
EMNLP能量排名提升抽象化摘要
本文提出了一种基于能量的模型，利用自动评估指标和重排机制对生成的摘要进行排序，以解决当前抽象摘要系统存在的问题。我们的实验结果表明，这种方式可以提高生成摘要的得分，但对高度抽象的摘要的应用要小心，因为现有的指标还不足够可靠。
PDF2 years ago
EMNLP依存层面蕴涵在生成中的事实性评估
本文提出了一种新的蕴含形式，即在依赖弧的级别上对其进行分解，以便更好地检测文本生成模型中的事实不一致性。实验证明，基于依赖弧的蕴含模型可以更好地识别重新表述和摘要中的事实不一致性，并在定位错误部分方面具有优势。
PDF4 years ago
ACL询问和回答问题以评估摘要的事实一致性
该研究介绍了一种名为 QAGS 的自动评估协议，用于识别生成的摘要中的事实不一致性，并提供了一种自然的可解释性方法，这种方法是基于提出问题并对摘要和源回答问题的引导下实现的。实验结果表明，与现有的自动评估度量相比，QAGS 具有更高的相关性
PDF4 years ago