Sep, 2024

大型语言模型中的幻觉检测：快速且节省内存的微调模型

HTML
PDF
TL;DR本研究解决了大型语言模型在高风险环境中可能出现的幻觉问题，提出了一种新颖的方法以实现快速且节约内存的模型训练。研究表明，所得到的模型集成能够有效检测幻觉，并且仅需一台GPU即可完成训练和推理，具有良好的实用性。
发现论文，激发创造
  • 大规模视觉语言模型中的幻觉评估和分析

    基于大型语言模型的幻觉评估框架 (HaELM) 提出了对当前大视觉-语言模型 (LVLMs) 进行幻觉评估的方法，并分析了导致幻觉的因素，并提供了缓解幻觉问题的建议。

    Aug, 2023

  • AI海洋中的塞壬之歌：大型语言模型中的幻觉调查

    本文调查了近期关于大型语言模型（LLMs）幻觉的检测、解释和缓解的努力，并着重讨论了LLMs所带来的独特挑战，提出了LLM幻觉现象的分类和评估基准，并分析了现有的缓解LLM幻觉方法，探讨了未来研究的潜在方向。

    Sep, 2023

  • 大型语言模型中的幻觉调查：原则、分类、挑战与开放问题

    在这份调查中，我们旨在对大型语言模型（LLM）幻像领域的最新进展进行全面而深入的概述。我们从LLM幻像创新分类入手，然后深入探讨了导致幻像的因素。接下来，我们全面介绍了幻像检测方法和基准。此外，我们还相应介绍了用于减轻幻像的代表性方法。最后，我们分析了突出当前限制的挑战，并制定了未来LLM幻像研究的开放问题，旨在描绘发展方向。

    Nov, 2023

  • MALTO参与SemEval-2024任务6: 运用合成数据进行LLM幻觉检测

    自然语言生成面临若干挑战，我们通过引入数据增强管道和投票集成来解决生成流畅但不准确以及过度依赖流畅度评测指标的问题。

    Mar, 2024

  • 寻求真相：一种审问方法用于幻觉检测

    通过多个数据集和大型语言模型，包括Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了87%的平衡准确率，而无需依赖外部知识。

    Mar, 2024

  • 基于大型语言模型内部状态的非监督实时幻觉检测

    LLMs出现的幻觉指的是LLMs产生的回应在逻辑上是连贯的，但事实上是不准确的。本文引入了一种名为MIND的无监督训练框架，利用LLMs的内部状态实时检测幻觉，无需手动注释，并提出了用于评估多个LLMs幻觉检测的新基准HELM。我们的实验证明，MIND在幻觉检测方面优于现有的最先进方法。

    Mar, 2024

  • 通过精细的人工智能反馈检测和缓解大型视觉语言模型中的幻觉

    通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测-重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验证明了我们方法的有效性。

    Apr, 2024

  • 大规模语言模型生成中的幻觉检测：基于词元概率的方法

    使用两个简单的分类器和从其他LLM评估器获得的四个数值特征，本文引入了一种监督学习方法，取得了有希望的结果，并在三个不同基准测试中超越了当前最先进的成果。

    May, 2024

  • 硬币的两面：利用LLMs作为LLMs的评估器进行幻觉生成和检测

    本文探讨了四个大型语言模型（LLMs）（Llama 3、Gemma、GPT-3.5 Turbo和GPT-4）在幻觉生成和检测任务中的能力，并采用集成多数投票的方法将所有四个模型应用于检测任务，结果对于了解这些模型在处理幻觉生成和检测任务中的优势和不足具有有价值的见解。

    Jul, 2024

  • 基于知识图谱训练语言模型：对幻觉及其可检测性的洞察

    本研究针对语言模型的幻觉问题，特别是训练集中的正确答案如何影响幻觉现象。通过构建知识图谱数据集并训练不同规模的语言模型，发现更大的模型和更长的训练时间会降低幻觉发生率，但要实现较低的幻觉率需要显著更大的模型和计算成本。此外，研究还揭示了语言模型的规模与幻觉可检测性之间的逆向关系。

    Aug, 2024