本文介绍了用于分析不同领域和任务中基于检索增强生成（RAG）大型语言模型（LLMs）中词级幻觉的 RAGTruth，这是一个用于测量幻觉程度的基准数据集，并评估了多种现有的幻觉检测方法，在幻觉检测方面，通过使用高质量的数据集如 RAGTruth，可以对相对较小的 LLM 进行微调，并实现与使用 GPT-4 等最先进的大型语言模型的基于提示的方法相媲美的性能水平。

Dec, 2023

通过多个数据集和大型语言模型，包括 Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了 87% 的平衡准确率，而无需依赖外部知识。

Mar, 2024

我们提出了一种朝着利用检索增强生成（RAG）改进大规模语言模型（LLMs）对私人知识库相关的领域特定和时间敏感查询的事实准确性的端到端系统设计。我们的系统将 RAG 流水线与上游数据集处理和下游性能评估集成在一起。通过使用源自 CMU 广泛资源并以教师模型进行注释的策划数据集对模型进行微调，解决了 LLM 产生的幻觉挑战。我们的实验表明该系统在生成更准确的领域特定和时间敏感查询答案方面的有效性。结果还揭示了使用规模较小和偏斜的数据集进行微调 LLM 的限制。这项研究突出了 RAG 系统在增强 LLMs 表现方面的潜力在知识密集型任务中。我们的代码和模型可在 Github 上找到。

Mar, 2024

提出了一种利用检索增强生成（RAG）的系统来改进结构化输出质量、减少生成 AI 中的幻觉，并提高 LLM 在领域外场景中的泛化能力的企业应用部署方法。

Apr, 2024

提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

Nov, 2023

揭示了大型语言模型存在的幻觉问题，通过整合外部知识与提示信息，检验了检索增强生成（RAG）的能力，实验证明 RAG 在某些情况下能提高准确性，但仍然可能受到与模型预训练理解相抵触的提示的误导，研究结果强调了幻觉的复杂性以及确保大型语言模型在实际应用中可靠性的更强大解决方案的必要性，并提供了 RAG 部署的实用建议和对更值得信赖的大型语言模型开发的影响。

Mar, 2024

本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法，通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性（如类型和频率），实现了最新的检测方法，消除了对额外信息的需求。

Nov, 2023

大型语言模型（如 ChatGPT、Bard 和 Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

Jan, 2024

通过使用较小型的语言模型以及多功能工具箱，设计了一个细粒度的三阶段检测框架，结合记忆机制，实现了 HalullAgent，使其能够主动选择适合的工具来检测多种幻觉类型，包括文本、代码和数学表达式，并利用中英文数据集进行合成检测轨迹以实现双语幻觉检测。大量实验证明，仅使用 2K 样本进行调优，HaluAgent 可以在各种任务和数据集上执行幻觉检测，在领域内和领域外数据集上实现与甚至超过 GPT-4 的性能而无需工具增强。

Jun, 2024

为了评估大规模语言模型 (LLMs) 在动态的现实世界环境中产生幻觉的能力，我们引入了 HalEval-Wild，这是一个特别设计的评估幻觉的基准测试。通过收集现有的用户 - LLM 交互数据集中具有挑战性的用户查询，并使用强大的 GPT-4 模型和检索增强生成 (RAG) 进行参考答案综合，我们对 LLMs 产生的幻觉进行了细致的分析，从而提供了一种改善 LLM 可靠性的新方法。

Mar, 2024