Apr, 2024

通过符合性放弃减轻 LLM 幻觉

PDF
TL;DR我们开发了一个原则性的方法，确定一个大型语言模型在一般领域中，何时应该放弃回答而选择回答 “我不知道”，而不是胡言乱语或错误答案。通过使用自洽性作为一种更可靠的模型置信度度量的早期方法的基础上，我们提出使用语言模型本身来自我评估其对于给定查询的每个采样响应之间的相似性。然后，我们进一步利用符合预测技术来开发一种放弃回答的方法，该方法在误报率（错误率）上具有严格的理论保证。在实验中，我们的符合预测放弃方法可可靠地限制了各种闭书、开放领域的生成问答数据集的胡言乱语率，同时与基于对数概率分数量化不确定性的基线相比，在长答案的数据集（时间序列）上保持了一个显著较低的放弃率，同时在短答案的数据集（TriviaQA）上实现了可比较的性能。为了自动评估实验，需要确定两个答案在给定问题下是否等价。遵循标准做法，我们使用一个阈值相似性函数来确定两个响应是否相匹配，并提供了一种根据符合预测进行阈值校准的方法，并在匹配预测的准确性上具有理论保证，这可能具有独立的兴趣。
language modelabstention procedurehallucination rateconformal predictiongenerative question answering
发现论文，激发创造
  • 基于不确定性的 LLMs 弃权改善安全性并减少幻觉

    大语言模型 (LLMs) 缺乏可靠性是其实际部署的一个主要障碍。本研究探讨了在问答领域中，通过不确定性度量的不确定度来弃权的可行性和有效性，并使用具有和不具有人类反馈的强化学习（RLHF）的模型和这些不确定度度量，证明通过适当的不确定度度量进行弃权可以提高 LLMs 的可靠性。

    Apr, 2024

  • 勿妄为，自制自己：通过多个 LLM 协作识别 LLM 知识盲点

    通过合作和竞争的方式，提出了两种新的方法来识别大型语言模型的知识缺口，并在检索增强和多跳推理中帮助识别失败案例和知识缺口。

    Feb, 2024

  • 导航不确定性：封闭式问题回答中优化 API 依赖关系以减少幻觉

    我们提出了一种新的大型语言模型，能够自我评估是否能直接回答问题或需要请求外部工具。我们通过引入幻觉屏蔽机制的监督方法进行研究，并提出利用参数高效微调技术在少量数据上训练模型。我们的模型直接回答已知查询的问题，对于未知查询进行搜索，从而只在 62% 的时间内使用 API。

    Jan, 2024

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 共形语言建模

    该研究介绍了一种新的适用于生成式语言模型的公差预测方法，它不仅能够精确地预测结果，还具有统计学的可靠性。研究者们通过校准样本输出和严格限制机制来实现这种方法。

    Jun, 2023

  • 大型语言模型的零资源幻觉预防

    通过引入一种名为【自我检测】的新技术，本研究提出了一种预防性策略来减少大型语言模型中的 “幻觉” 现象，实验证明该技术在幻觉检测方面表现优异，对于提高语言助手的可靠性、适用性和解释性具有重要意义。

    Sep, 2023

  • 相信还是不相信你的 LLM

    我们在大型语言模型中探索不确定性量化，旨在确定查询结果的不确定性何时较大。我们同时考虑认识论不确定性和偶然性不确定性，从中推论出一种信息论度量，可可靠地检测只有认识论不确定性较大的情况，从模型的输出中可以仅通过一些特殊的迭代提示来计算。这种量化可以检测出幻觉，在单答案和多答案响应中均适用。与许多标准的不确定性量化策略（例如，将响应的对数似然度阈值化）不同，无法检测到多答案情况下的幻觉。我们进行了一系列实验证明了我们的公式的优势。此外，我们的研究还揭示了大型语言模型给定输出的概率如何通过迭代提示来放大，这可能具有独立的研究价值。

    Jun, 2024

  • 消除 LLM 幻觉需要重新思考泛化

    通过广泛系统实验，我们展示了传统方法无法解释 LLMs 在实践中为什么会产生幻觉，并通过大量内存专家的混合来增强 LLMs，可以轻松地记忆大数据集，为去除幻觉设计了 Lamini-1 模型。

    Jun, 2024

  • 科学问答中通过上下文扰动表征 LLM 回避行为

    在这项研究中，我们研究了 LLMs 在提供不充分或不正确的上下文时放弃回答具有环境依赖性的科学问题的能力。通过在四个 QA 数据集上进行实验，我们展示了性能在模型之间、提供的上下文类型之间以及问题类型之间存在巨大的差异。我们的分析还突显了放弃回答表现对 QA 任务准确性的意外影响，表明需要改进 QA 数据集的设计和评估方法，以更有效地评估模型放弃回答的正确性和下游影响。

    Apr, 2024

  • 通过多语言反馈教授跨语言的法律硕士生避免

    多语言语言模型（LLMs）中的知识差距导致幻觉，通过在多语言环境中教授 LLMs 不认识的问题的方法可以减轻幻觉效应。本研究提出通过多语言反馈来增强 LLMs 的放弃行为，该方法通过在相关语言中生成多个反馈项，帮助识别不同语言、文化和社群之间的知识差距，并在三个数据集上的黑盒模型、开放书籍模型和常识问答模型中实验表明，这种多语言反馈方法优于其他强有力的基准方法，为低资源语言提供了 9.2% 的性能提升。进一步的分析显示，多语言反馈是一种有效且更公平的放弃策略，可以服务于不同的语言使用者，而文化因素对于语言选择和 LLM 放弃行为有很大的影响，为多语言和多文化可靠性语言建模提供了未来的发展方向。

    Jun, 2024