自然语言处理和大型语言模型在近期取得了显著进展，然而，大型语言模型常常会出现 “幻觉”，导致非事实性的输出。我们的人工评估结果证实了这一严重的幻觉问题，显示即使是 GPT-3.5 的事实性输出不到 25%。这凸显了事实验证器的重要性，以便衡量和激励进展。我们的系统调查确认了大型语言模型可以被重新用作有效的事实验证器，与人类判断具有强相关性，至少在维基百科领域。令人惊讶的是，在我们的研究中，最不事实生成器 FLAN-T5-11B 表现最佳作为事实验证器，甚至超过了像 GPT3.5 和 ChatGPT 这样更有能力的大型语言模型。进一步深入分析了这些大型语言模型对高质量证据的依赖以及它们在鲁棒性和泛化能力方面的不足。我们的研究为开发可信赖的生成模型提供了见解。

Oct, 2023

探索大型语言模型（LLMs）的风险、潜在威胁和可行解决方案，以在生成 AI 时代中揭示准确性的各个方面。

Oct, 2023

在大型语言模型时代，幻觉（即生成事实不准确的内容）对于在现实应用中可信可靠地部署语言模型构成了巨大的挑战。为了解决语言模型幻觉问题，本研究对幻觉检测、幻觉来源和幻觉缓解这三个重要问题进行了系统的实证研究。研究通过构建一个新的幻觉基准 HalualEval 2.0，设计了一种简单而有效的语言模型幻觉检测方法，并深入分析了导致语言模型幻觉的潜在因素。最后，研究实施并检验了一系列常用的技术来缓解语言模型中的幻觉。本研究的工作为理解幻觉的起源以及缓解语言模型中的幻觉问题提供了重要发现。

Jan, 2024

单个文档新闻摘要在保真度方面取得了显著进展，但我们提出一种新的评估基准，研究在以话题为焦点的对话摘要领域中存在的事实一致性问题和虚构错误类型。

Feb, 2024

大型语言模型（如 ChatGPT、Bard 和 Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

Jan, 2024

通过多个数据集和大型语言模型，包括 Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了 87% 的平衡准确率，而无需依赖外部知识。

Mar, 2024

介绍了一种新颖的事实推理方法（Factual Entailment），用于检测大型语言模型生成的内容中的事实错误（hallucinations），并提出了一个基准数据集（FACTOID）用于评估和排名语言模型的自动错误产生脆弱性指数（Auto Hallucination Vulnerability Index） 。

Mar, 2024

本研究引入了 Hallucination Evaluation for Large Language Models（HELMA）基准来评估 LLM 的幻觉表现，并提出了基于 ChatGPT 的取样 - 过滤框架来生成大规模的，人类标注的幻觉数据集，并指出 ChatGPT 生成幻觉的概率较大，现有的 LLM 在识别文本幻觉方面面临巨大挑战，但可通过提供外部知识或添加推理步骤来改善表现。

May, 2023

本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法，通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性（如类型和频率），实现了最新的检测方法，消除了对额外信息的需求。

Nov, 2023

评估大型语言模型的事实记忆能力及其影响因素，涵盖多个领域、知识流行度水平和模型家族，并观察到指令调整对知识召回的负面影响、模型规模对性能的正面影响以及反事实演示对大模型事实知识召回的降低作用。

Apr, 2024