Jul, 2024

硬币的两面：利用LLMs作为LLMs的评估器进行幻觉生成和检测

HTML
PDF
TL;DR本文探讨了四个大型语言模型（LLMs）（Llama 3、Gemma、GPT-3.5 Turbo和GPT-4）在幻觉生成和检测任务中的能力，并采用集成多数投票的方法将所有四个模型应用于检测任务，结果对于了解这些模型在处理幻觉生成和检测任务中的优势和不足具有有价值的见解。
发现论文，激发创造
  • AI海洋中的塞壬之歌：大型语言模型中的幻觉调查

    本文调查了近期关于大型语言模型（LLMs）幻觉的检测、解释和缓解的努力，并着重讨论了LLMs所带来的独特挑战，提出了LLM幻觉现象的分类和评估基准，并分析了现有的缓解LLM幻觉方法，探讨了未来研究的潜在方向。

    Sep, 2023

  • AutoHall: 大型语言模型的自动幻觉数据集生成

    该论文提出了AutoHall方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

    Sep, 2023

  • 大型语言模型中的幻觉调查：原则、分类、挑战与开放问题

    在这份调查中，我们旨在对大型语言模型（LLM）幻像领域的最新进展进行全面而深入的概述。我们从LLM幻像创新分类入手，然后深入探讨了导致幻像的因素。接下来，我们全面介绍了幻像检测方法和基准。此外，我们还相应介绍了用于减轻幻像的代表性方法。最后，我们分析了突出当前限制的挑战，并制定了未来LLM幻像研究的开放问题，旨在描绘发展方向。

    Nov, 2023

  • 幻觉检测与幻觉减缓：一项研究

    大型语言模型（如ChatGPT、Bard和Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

    Jan, 2024

  • MALTO参与SemEval-2024任务6: 运用合成数据进行LLM幻觉检测

    自然语言生成面临若干挑战，我们通过引入数据增强管道和投票集成来解决生成流畅但不准确以及过度依赖流畅度评测指标的问题。

    Mar, 2024

  • 寻求真相：一种审问方法用于幻觉检测

    通过多个数据集和大型语言模型，包括Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了87%的平衡准确率，而无需依赖外部知识。

    Mar, 2024

  • 基于大型语言模型内部状态的非监督实时幻觉检测

    LLMs出现的幻觉指的是LLMs产生的回应在逻辑上是连贯的，但事实上是不准确的。本文引入了一种名为MIND的无监督训练框架，利用LLMs的内部状态实时检测幻觉，无需手动注释，并提出了用于评估多个LLMs幻觉检测的新基准HELM。我们的实验证明，MIND在幻觉检测方面优于现有的最先进方法。

    Mar, 2024

  • Lynx: 开源的幻觉评估模型

    LYNX是一种最先进的幻觉检测大型语言模型，通过Retrieval Augmented Generation技术解决了现实世界中具有挑战性的幻觉情景，并在HaluBench评估基准上表现优于其他模型。

    Jul, 2024

  • 经济有效的大型语言模型幻觉检测

    本研究针对大型语言模型（LLMs）在生成不可靠输出时存在的幻觉问题，提出了一种后续幻觉检测的方法。该方法结合多种评分方法以提高检测效果，并引入经济有效的多评分框架，以降低计算成本，同时实现优于传统检测方法的表现。

    Jul, 2024

  • 小型语言模型与大型语言模型的结合：在幻觉检测中平衡延迟、可解释性和一致性

    本研究针对大型语言模型在实时应用中幻觉检测存在的延迟问题，提出了一种新颖的框架，采用小型语言模型进行初步检测，再由大型语言模型提供详细解释。通过有效的提示技术，此方法显著优化了实时可解释的幻觉检测，实验结果证明其有效性，提升了用户体验。

    Aug, 2024