GenAudit：使用证据修复语言模型输出中的事实错误

Feb, 2024

GenAudit：使用证据修复语言模型输出中的事实错误

GenAudit: Fixing Factual Errors in Language Model Outputs with Evidence

Kundan Krishna, Sanjana Ramprasad, Prakhar Gupta, Byron C. Wallace, Zachary C. Lipton...

TL;DRLLMs 生成错误陈述时会产生错误，我们提出了 GenAudit，这是一个旨在辅助检查 LLM 响应的工具，通过修改或删除不被参考文献支持的主张，提供参考文献中支持的事实的证据，并设计一个交互界面将建议的修改和证据呈现给用户。

Abstract

llms can generate factually incorrect statements even when provided access to reference documents. Such errors can be dangerous in high-stakes applications (e.g., document-grounded QA for healthcare or finance).

llms factually incorrect statements genaudit document-grounded tasks fact-checking

发现论文，激发创造

Factcheck-GPT: 端到端的细粒度文档级事实检查与纠正 LLM 输出

该研究介绍了一种针对大型语言模型输出进行事实准确性注释的综合解决方案，包括多阶段的注释方案和注释工具的设计，以识别 LLM 输出中的可验证性和事实不一致性，并构建了三个层次粒度的开放领域文档级事实性基准。初步实验结果表明，已有工具在识别错误声明方面存在困难，最佳 F1=0.53。

Nov, 2023

AuditLLM: 使用多探针方法审计大型语言模型的工具

通过批量分析来自一个问题的多个探针生成的回答，AuditLLM 能够测试给定的 LLM 以评估其性能，并得出对 LLM 的一致性的易于解释的结果。它可通过实时查询分析响应进行即时审核，也可通过处理多个查询进行综合分析，旨在提供一个标准化的审核平台，以增进对 LLM 生成回答的能力的理解。

Feb, 2024

MiniCheck：基于文本证明的 LLM 高效事实核查

通过构建合成训练数据，我们展示了如何构建具有 GPT-4 水平性能但成本降低 400 倍的小型模型，通过检查声明中的每个事实并识别跨句子的信息合成来进行验证，并发布了 LLM-AggreFact 数据集和模型。

Apr, 2024

针对事实性的语言模型微调

通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

Nov, 2023

LLMs 作为事实推理器：现有基准和未来展望的洞见

通过提出新的数据集 SummEdits 来解决现有基准测试中存在的缺点，该数据集比以前的数据集更高效且高度可重复。然而，大多数 LL 模型在 SummEdits 上表现不佳，最好的 GPT-4 模型仍然比人类的表现差 8％，这凸显了 LL 模型在推理和检测事实不一致方面的能力差距。

May, 2023

临床摘要中事实对齐的合成模仿编辑反馈

使用 ChatGPT 生成高质量反馈数据，从而改善临床笔记概括任务中的事实一致性，并展示了 GPT 编辑在人类对齐中的潜在用途，特别是从事实角度。

Oct, 2023

大型语言模型中最小化事实不一致和幻觉

提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

Nov, 2023

使用大型语言模型评估摘要的事实一致性

本研究探索采用大型语言模型 (DLM) 来评估摘要的事实一致性，并通过对 GPT 模型系列和 Flan-T5 等不同类型的 DLM 进行分析，以及对多种提示方法进行研究，最终证明了直接针对 DLM 的提示方法在各项测试中均优于当前最先进的摘要事实性系统。

May, 2023

大型语言模型是否可靠的评判者？一个关于 LLM 事实性评估能力的研究

本研究旨在探讨大型语言模型作为可靠的评估器，用于评估文本生成模型生成的摘要的事实一致性，并发现其在事实性评分中的局限性。

Nov, 2023

语言模型产生幻觉但在事实验证中可能表现出色

自然语言处理和大型语言模型在近期取得了显著进展，然而，大型语言模型常常会出现 “幻觉”，导致非事实性的输出。我们的人工评估结果证实了这一严重的幻觉问题，显示即使是 GPT-3.5 的事实性输出不到 25%。这凸显了事实验证器的重要性，以便衡量和激励进展。我们的系统调查确认了大型语言模型可以被重新用作有效的事实验证器，与人类判断具有强相关性，至少在维基百科领域。令人惊讶的是，在我们的研究中，最不事实生成器 FLAN-T5-11B 表现最佳作为事实验证器，甚至超过了像 GPT3.5 和 ChatGPT 这样更有能力的大型语言模型。进一步深入分析了这些大型语言模型对高质量证据的依赖以及它们在鲁棒性和泛化能力方面的不足。我们的研究为开发可信赖的生成模型提供了见解。

Oct, 2023