Jun, 2024

使用预设立场进行反事实辩论以消除 LLM 的产生幻觉

PDF
TL;DR提出了一种 CounterFactual Multi-Agent Debate (CFMAD) 框架，该框架通过强制 LLMs 为预定答案的正确性生成证明来覆盖 LLMs 固有的偏见，以减轻幻觉问题。在四个数据集上的实验证明了 CFMAD 相对于现有方法的优越性。
large language modelsllmshallucination issuescounterfactual multi-agent debatecfmad
发现论文，激发创造
  • 基于马尔可夫链的多主体辩论框架用于检测 LLM 虚构

    我们提出了基于马尔可夫链的多代理辩论验证框架，用于增强简要声明中的错误检测准确性，并通过包括声明检测、证据检索和多代理验证在内的事实检查过程集成验证的方法。实验证明，我们的方法在三个生成任务中相比基准线实现了显著改进。

    Jun, 2024

  • 大型多模态模型中减轻幻觉效应的反事实植入

    使用反事实关键词和双模式验证过程，该论文提出了一种增强大型多模态模型在处理错误回应和无关回应时的可靠性的方法，以减轻幻觉现象并提高模型的可信度。

    Mar, 2024

  • 能否通过虚构模型减少人类的 “幻觉”？

    利用心理测量评估，本研究探讨了大型语言模型（LLMs）在检测常见逻辑陷阱方面与普通人的能力。通过对人类理性与 LLMs 的对比，提出了利用 LLMs 来对抗误解的方法，结合认知失调理论和详细性可能性理论等心理学模型。通过这一努力，凸显了 LLMs 作为个性化反驳错误信息代理的潜力。

    May, 2024

  • 消除 LLM 幻觉需要重新思考泛化

    通过广泛系统实验，我们展示了传统方法无法解释 LLMs 在实践中为什么会产生幻觉，并通过大量内存专家的混合来增强 LLMs，可以轻松地记忆大数据集，为去除幻觉设计了 Lamini-1 模型。

    Jun, 2024

  • 学会相信自己的感受：在语言模型中利用自我意识缓解幻觉

    通过使用知识探测、一致性检查和强化学习等方法，我们发现大型语言模型在辨别和表达其内部知识状态方面具有强大的自我意识，然而它们在生成过程中常常无法表达其内部知识，导致虚构。为此，我们提出了一种自动虚构注释工具，通过梦网，该工具将知识探测和一致性检查方法结合起来，以排名虚构偏好数据。通过使用知识偏好作为奖励，我们提出了一种从知识反馈中强化学习（RLKF）的训练框架，利用强化学习增强大型语言模型的真实性和诚实性。我们对多个模型进行的实验证明，RLKF 训练有效地增强了模型利用其内部知识状态的能力，在各种基于知识和诚实性的任务中提高了性能。

    Jan, 2024

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 探索和解决涉及否定的 LMs 中的幻觉问题

    研究了大型语言模型中幻觉问题中否定的影响，发现在涉及否定的任务中，开源最先进的大型语言模型在虚构上存在严重的缺点，提出了多种减轻这些幻觉的策略并展示了它们的影响。

    Jun, 2024

  • 通过多智能体辩论提高语言模型的事实性和推理能力

    该论文介绍了一种新方法，即通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，从而改善语言响应的表现，特别是在数学和策略推理方面，改善了已有模型中一些常见问题，如虚假答案和幻觉现象，并有望显著提高大型语言模型的性能和开拓语言生成和理解领域。

    May, 2023

  • 分类和减轻 LLMs 的幻觉的洞察力

    本文阐述了人工智能幻觉的根本原因及其在人工智能中的重要意义，并就幻觉分类进行了研究，包括机器翻译、问答系统、对话系统、摘要系统、基于大语言模型的知识图谱以及视觉问答等多个任务。同时，本研究探讨了缓解幻觉的潜在策略，旨在提高大语言模型的整体可靠性。该研究属于 HeReFaNMi（Health-Related Fake News Mitigation）项目的一部分，该项目得到 NGI Search 的慷慨支持，旨在抑制互联网上健康相关虚假新闻的传播，致力于在不断演进的人工智能技术时代保护信息传播的完整性。

    Nov, 2023

  • 大型语言模型作为反事实生成器：优缺点

    本研究探究了大型语言模型（LLMs）进行反事实生成和数据增强的能力，发现 LLMs 很有效的进行反事实生成，但因为自身限制和缺少实用逻辑指导，在某些复杂任务上表现欠佳。提供准确的任务定义和详细的操作步骤对于在 LLMs 中生成反事实具有决定性影响。同时，研究还证明了 LLMs 可能在缺乏合理演示的情况下生成合理的反事实，说明演示主要用于规范输出格式。因此，基于 LLMs 进行数据增强来增强 SLMs 是一种非常有前景的研究和应用方向。

    May, 2023