Feb, 2024

通过多智能体辩论实现忠实可解释的事实核查

PDF
TL;DR我们的研究调查了大型语言模型生成解释的能力，发现零样本提示通常导致不忠实的结果。为了解决这些挑战，我们提出了多代理辩论修正（MADR）框架，利用多个具有不同角色的大型语言模型作为代理，在迭代的修饰过程中提高了生成解释的忠实性。MADR 确保最终的解释经过严格验证，显著降低了不忠实元素的可能性，并与提供的证据紧密相符。实验证明，MADR 显著提高了大型语言模型生成解释与证据的忠实性，提升了这些解释的可信度和可靠性。
发现论文，激发创造
  • 大型语言模型作为忠实的解释器

    介绍了一种提高大型语言模型的自然语言解释质量的生成解释框架 xLLM，该框架通过评估器和迭代优化过程来最大化生成解释的忠实度分数，实验证明 xLLM 可以显著提高生成解释的忠实度。

    Feb, 2024

  • 通过多智能体辩论提高语言模型的事实性和推理能力

    该论文介绍了一种新方法，即通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，从而改善语言响应的表现，特别是在数学和策略推理方面，改善了已有模型中一些常见问题，如虚假答案和幻觉现象，并有望显著提高大型语言模型的性能和开拓语言生成和理解领域。

    May, 2023

  • 大型语言模型协助人类验证真实性 -- 除非其错得令人信服

    通过与搜索引擎进行对比实验证明，大型语言模型虽然能提高事实核查的效率，但在解释错误的情况下容易让用户过分依赖，因此在高风险环境中不宜将其作为阅读检索内容的可靠替代品。

    Oct, 2023

  • 忠实性与可信度：大型语言模型解释的（不）可靠性

    大型语言模型的自解释性及其在高风险决策中的忠诚度与可信度之间的矛盾。

    Feb, 2024

  • 支持现实世界事实核查的多模态大型语言模型

    对多模态大型语言模型在事实检查方面的能力和局限性进行了系统评估，发现 GPT-4V 在识别恶意和误导性多模态论断方面表现出优越性能，具备解释不合理方面和潜在动机的能力，同时已有的开源模型存在强烈的偏见，并对提示非常敏感。这项研究为对抗虚假多模态信息和构建安全可靠的多模态模型提供了启示，据我们所知，这是第一次对多模态大型语言模型进行真实世界事实检查的评估。

    Mar, 2024

  • LLM 生成的黑盒解释在对抗场景中具备帮助性

    当解答复杂问题时，大型语言模型（LLMs）作为数字助手成为重要工具，然而我们的研究揭示了这种方法中隐藏的风险，称之为 “对抗性有益性”，即 LLMs 的解释使错误答案看起来正确，潜在地导致人们相信错误的解决方案。本文通过识别和研究 LLMs 采用的关键说服策略，揭示出 LLMs 在这方面存在的问题，并通过基于图形导航的特殊任务，验证了 LLMs 生成对抗性有益性解释时导航复杂结构化知识的能力。这些发现明确了黑盒解释设置的局限性，并提供了如何安全使用 LLMs 作为解释器的建议。

    May, 2024

  • 自动生成的大型语言模型在自动事实检查中的应用：综述

    通过调查生成型大型语言模型在事实核查领域的利用情况，本综述旨在提高对大型语言模型在事实核查中的运用的理解并促进进一步的发展。

    Jul, 2024

  • 大语言模型事实核查的风险与前景

    自动事实核查（使用机器学习来验证主张）已经变得至关重要，因为虚假信息已经超出了人类事实核查的能力范围。大型语言模型（LLMs），如 GPT-4，越来越受人们的信任，可以验证信息并撰写学术论文、诉讼文件和新闻文章，强调了它们在分辨真假和能够验证其输出的重要性。在这里，我们通过让 LLM 代理人表达查询、检索上下文数据和做出决策来评估 LLMs 在事实核查中的使用。重要的是，在我们的框架中，代理人解释他们的推理并引用检索到的相关来源。我们的结果显示，在配备上下文信息的情况下，LLMs 表现出更强大的能力。GPT-4 优于 GPT-3，但准确性取决于查询语言和主张的真实性。虽然 LLMs 在事实核查方面显示出前景，但仍需要谨慎使用，因为准确性不一致。我们的调研呼吁进一步研究，以更深入地了解代理人何时成功以及何时失败。

    Oct, 2023

  • 大型语言模型能自我解释吗？

    利用自洽性检查作为一种忠实度测量，将其应用于大型语言模型自我解释的三种类型，即反事实解释、重要性度量和删除。通过不同任务和模型，发现忠实度是任务和模型相关的，例如对于情感分类，Llama2 的反事实解释、Mistral 的重要性度量和 Falcon 40B 的删除是更加忠实的。最后，我们的发现在提示变体方面是稳健的。

    Jan, 2024

  • 大型语言模型是否是良好的事实核查者：初步研究

    该研究通过对大型语言模型在事实检查方面的潜力进行初步调查，系统评估了它们在处理特定事实检查子任务中的能力，并与预训练和最先进的低参数模型进行了性能对比分析。实验证明大型语言模型在大多数场景中取得了与其他小型模型相媲美的性能，但在处理中文事实验证和整个事实检查流程中遇到了语言不一致和虚构的挑战，这些发现强调了进一步探索和研究以增强大型语言模型作为可靠事实检查器的能力，并揭示了在事实检查任务中可能面临的挑战。

    Nov, 2023