Jul, 2023

及时处理，节省九倍：通过验证低置信度生成结果来检测和减轻 LM 的幻觉

PDF
TL;DR本研究旨在积极检测和减轻生成过程中的 “幻觉” 问题，通过候选幻觉的识别、校验、减轻和继续生成的方法，成功降低了 GPT-3 模型的幻觉比例平均从 47.5% 下降到 14.5%。
hallucinationslanguage modelsdetectionmitigationreliability
发现论文，激发创造
  • 幻觉检测与幻觉减缓：一项研究

    大型语言模型（如 ChatGPT、Bard 和 Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

    Jan, 2024

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024

  • 通过精细的人工智能反馈检测和缓解大型视觉语言模型中的幻觉

    通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测 - 重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验证明了我们方法的有效性。

    Apr, 2024

  • 大型语言模型的零资源幻觉预防

    通过引入一种名为【自我检测】的新技术，本研究提出了一种预防性策略来减少大型语言模型中的 “幻觉” 现象，实验证明该技术在幻觉检测方面表现优异，对于提高语言助手的可靠性、适用性和解释性具有重要意义。

    Sep, 2023

  • 分类和减轻 LLMs 的幻觉的洞察力

    本文阐述了人工智能幻觉的根本原因及其在人工智能中的重要意义，并就幻觉分类进行了研究，包括机器翻译、问答系统、对话系统、摘要系统、基于大语言模型的知识图谱以及视觉问答等多个任务。同时，本研究探讨了缓解幻觉的潜在策略，旨在提高大语言模型的整体可靠性。该研究属于 HeReFaNMi（Health-Related Fake News Mitigation）项目的一部分，该项目得到 NGI Search 的慷慨支持，旨在抑制互联网上健康相关虚假新闻的传播，致力于在不断演进的人工智能技术时代保护信息传播的完整性。

    Nov, 2023

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 寻求真相：一种审问方法用于幻觉检测

    通过多个数据集和大型语言模型，包括 Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了 87% 的平衡准确率，而无需依赖外部知识。

    Mar, 2024

  • 零样本多任务幻觉检测

    在这项研究中，我们正式定义了虚构，并提出了一种在零镜头环境中定量检测虚构的框架，利用我们的定义和模型输出包含任务和样本特定输入的假设。我们的解决方案在模型感知环境中实现了 0.78 的准确度，在模型无关环境中实现了 0.61 的准确度。值得注意的是，我们的解决方案保持了计算效率，比其他现有方法需要更少的计算资源，符合轻量化和压缩模型的趋势。

    Mar, 2024

  • 关于事实问答中幻觉的早期检测

    我们通过探究模型生成的输入、输出和内部状态中的指标来检测大型语言模型生成中的幻觉，结果表明这些指标在幻觉生成和非幻觉生成之间存在差异，我们进一步通过训练二分类器使用这些指标作为输入特征来将模型生成划分为幻觉和非幻觉，此二分类器的 AUROC 值达到 0.80，并且我们展示了先前的幻觉中的令牌可以预测随后的幻觉。

    Dec, 2023

  • 段落级幻觉检测的新基准与反向验证方法

    本研究提出了一种基于反向验证的自检方法，以零资源方式自动检测事实错误，并构建了一个基于 ChatGPT 生成的、由人工注释的幻觉检测基准，在段落级别进行研究和评估不同方法，揭示了零资源方法的共同局限。

    Oct, 2023