factual errors | BriefGPT - AI 论文速递

关键词factual errors

搜索结果 - 19

通过聚合提示识别错误（DEEP）：一种用于检测事实错误的端到端 LLM 框架
用于检测大语言模型生成的文本摘要中的事实错误的一种框架，该框架通过使用多样的语言模型提示来识别事实不一致，并将其输出作为二进制特征进入集成模型，从而产生经验性准确的概率来判断文本是否在事实上一致或不含幻想。
PDF16 days ago
解决 ToTTo 中输入问题，提高神经表格到文本输出的事实准确性
研究表明，神经表格文本转换模型在输出时往往会产生错误，这些错误可以追溯到输入问题，通过对输入进行修正可以将错误率降低 52% 至 76%（取决于模型）。此外，发现模型在处理非标准结构的表格输入时存在困难，特别是当输入缺乏明确的行和列值，或者
PDF3 months ago
Re-Ex: LLM 响应中的解释修订减少了事实错误
我们提出了 Re-Ex 方法，它通过加入一个称为事实错误解释步骤的新步骤，使用外部工具获取事实错误的证据，并让 LLMs 解释响应的问题部分，最后使用解释来修订响应，从而减少 LLMs 生成文本的幻觉问题。与 Factool、CoVE 和
PDF4 months ago
LVLM 能理解图表吗？分析和纠正图表标题中的事实错误
通过引入事实性错误的全面分类学，该研究分析各种图表字幕模型生成的错误模式和频率，从而为生成可靠的图表字幕确保事实性的任务奠定了基础。同时，提出了一种有效的两阶段框架来纠正这些错误，以及一种视觉蕴涵模型用于评估事实一致性。
PDF7 months ago
EMNLPFLEEK：基于外部知识检测和修正事实错误
开发自动方法以减少人工检测和纠正事实错误的工作量，如从文本中提取事实性声明、收集外部知识来源的证据、评估每个声明的真实性，并使用收集到的证据提出修改建议。
PDF8 months ago
揭开塞壬之歌：迈向可靠的事实冲突幻觉检测
通过 FactCHD 基准测试，评估 Large Language Models 中事实性的判断，在检测虚假信息方面取得了有效成果，且当前方法在准确检测事实错误方面存在不足。
PDF9 months ago
EMNLP大型语言模型中共现对事实知识的影响
大型语言模型在各种应用中取得成功，但往往会出现事实性错误。本文研究了共现偏差对语言模型造成的影响，并提供了一种通过在去偏数据集上微调来减轻偏差的方法。
PDF9 months ago
EMNLP段落级幻觉检测的新基准与反向验证方法
本研究提出了一种基于反向验证的自检方法，以零资源方式自动检测事实错误，并构建了一个基于 ChatGPT 生成的、由人工注释的幻觉检测基准，在段落级别进行研究和评估不同方法，揭示了零资源方法的共同局限。
PDF9 months ago
FELM: 大型语言模型真实性评估基准
评估大型语言模型产生的文本的真实性是一个新兴而关键的研究领域，目的是提醒用户潜在错误并引导更可靠的语言模型的开发。为了解决这个问题，我们介绍了一个名为 felm 的大型语言模型真实性评估基准，该基准收集了来自语言模型的响应并以细化的方式注释
PDF9 months ago
FacTool: 生成式人工智能中的事实性检测 —— 一种用于多任务和多领域场景的工具增强框架
利用生成式预训练模型合成高质量文本的出现，使得辨识生成文本中的事实错误面临挑战。本文提出了一种名为 FacTool 的任务和领域无关框架，用于检测大型语言模型（如 ChatGPT）生成文本中的事实错误，并在基于知识的问答、代码生成、数学推理
PDFa year ago
ACLChatGPT 与人类撰写文本：可控文本摘要与句子风格转移的洞见
本文研究 ChatGPT 在不同目标受众和写作风格下的表现，发现相比人类撰写的文章，ChatGPT 生成的样本在词汇类型分布等方面存在差异，并可能出现事实错误或幻觉。
PDFa year ago
使用大型语言模型评估摘要的事实一致性
本研究探索采用大型语言模型 (DLM) 来评估摘要的事实一致性，并通过对 GPT 模型系列和 Flan-T5 等不同类型的 DLM 进行分析，以及对多种提示方法进行研究，最终证明了直接针对 DLM 的提示方法在各项测试中均优于当前最先进的摘
PDFa year ago
LM vs LM: 通过交叉审查检测事实性错误
本文提出了一种基于交叉验证的自然语言模型事实评估框架，通过多轮交互和另一个模型的提问来发现不一致性，实验证明该方法在捕捉事实错误方面优于现有方法和基线。
PDFa year ago
ACL零样式忠实事实误差校正
该论文提出了一种零 - shot 框架，用于纠正文本知识库中的事实错误，具有可解释性，并使用不同的方法进行度量，改善了已有的模型。
PDFa year ago
KATSum: 知识感知抽象文本摘要
本文提出了一种基于知识图谱的抽象文本摘要模型（Knowledge-aware Abstractive Text Summarization），其利用源文本中提取的知识图谱三元组来提供具有关系信息的关键词，生成连贯且无误差的摘要，试验表明，该
PDF2 years ago
EMNLP对话摘要中忠实度的分析和评估
本文提出了一种系统评估对话摘要的方法，并通过人工分析发现现有模型中有超过 35% 生成的摘要与原始对话不符，其评估工具与样本数据可用于未来的研究。
PDF2 years ago
CONFIT：基于语言学对比微调的忠实对话摘要
通过 ConFiT 训练方法及一系列的模块化目标来改善抽象型对话摘要的事实准确性，最终生成的摘要数据质量得到了显著提高。
PDF3 years ago
ACL使用 FRANK 来理解抽象摘要中的事实性：一个事实度量的基准
该研究在 CNN/DM 和 XSum 数据集上使用类型学来收集各种摘要模型的生成摘要的人类注释，并使用它来识别各种类别的事实错误的比例，并基准事实度度量标准，显示它们与人类判断的相关性以及它们的特定优点和缺点
PDF3 years ago
ACL主题摘要中的细粒度事实注释及建模
研究表明，目前预训练的抽象摘要系统在性能上已经取得了可信的表现，但其输出的摘要常常与输入不符合并存在事实错误。作者探讨了综合和人工标注数据，用于训练模型来识别摘要中的事实错误，并研究了单词、依赖和句子级别的事实性。通过对多个数据集的实验观察
PDF3 years ago