May, 2023

通过辩论深入探究大型语言模型的内部一致性

PDF
TL;DR在人工智能的领域中，大型语言模型（LLMs）需求渐趋增长。本研究通过命题竞辩框架来探讨多个 LLMs 之间的持续性以及一致性问题，确立了公正比赛，失调比赛和圆桌比赛的三个阶段，并在多个常识推理数据集上进行了广泛的实验，从而提出了令人信服的解决方案
发现论文，激发创造
  • 评估大型语言模型的一致性和推理能力

    大型语言模型在学术、研究、商业和金融等领域被广泛应用于文本生成、摘要和翻译等任务，然而，这些模型往往会产生不正确和误导性的信息，主要原因是一致性和推理能力的不足，因此本研究旨在评估和比较公开和专有的大型语言模型的一致性和推理能力，并发现专有模型在一致性和推理能力方面通常优于公开模型，但即使面对基本的常识问题，没有一个模型在一致性和推理能力上都达到 90% 的得分。

    Apr, 2024

  • 用于可解释和可争议决策的论证型大型语言模型

    通过引入辩证推理方法，使用大语言模型（LLMs）构建论证框架，从而使 LLMs 的决策能够被自然地解释和争辩，通过在声称验证的决策任务中的实验，我们证明了辩论性 LLMs 的有效性，结果竞争力强于同类技术。

    May, 2024

  • LLMs 的多步推理中自洽性的两个失败

    本论文主要研究大型语言模型在多步推理中的自我一致性表现，提出假设一致性和组合一致性两个重要概念，并实现对 GPT-3 模型在维基百科，日常对话，算术和地理查询任务中表现不佳的演示。

    May, 2023

  • 通过多智能体辩论提高语言模型的事实性和推理能力

    该论文介绍了一种新方法，即通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，从而改善语言响应的表现，特别是在数学和策略推理方面，改善了已有模型中一些常见问题，如虚假答案和幻觉现象，并有望显著提高大型语言模型的性能和开拓语言生成和理解领域。

    May, 2023

  • 通过概率推理实现逻辑一致的语言模型

    通过引入基于原则的概率推理训练目标，本研究改进了大型语言模型的逻辑一致性和新知识推理能力。

    Apr, 2024

  • LLMs 作为事实推理器：现有基准和未来展望的洞见

    通过提出新的数据集 SummEdits 来解决现有基准测试中存在的缺点，该数据集比以前的数据集更高效且高度可重复。然而，大多数 LL 模型在 SummEdits 上表现不佳，最好的 GPT-4 模型仍然比人类的表现差 8％，这凸显了 LL 模型在推理和检测事实不一致方面的能力差距。

    May, 2023

  • 面向关系推理的 LLMs：我们离目标有多远？

    通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

    Jan, 2024

  • 用 LLMs 推理概念：充斥着不一致

    知识的总结和组织对于学习和推理至关重要。我们展示了大型语言模型在知识方面存在显著的不一致性。通过使用简单的知识图谱，我们能够揭示语言模型中的概念上的不一致性，并提出了改进语言模型的策略。

    May, 2024

  • 大型语言模型是否能像人类一样推断和产生分歧？

    本文研究大型语言模型在处理自然语言推理任务上的表现，并通过 Monte Carlo Reconstruction 和 Log Probability Reconstruction 两种方法评估其与人类理解的一致性，结果表明大型语言模型在 NLI 任务和人的理解差异分布方面表现不佳。

    May, 2023

  • 超越准确性：评估大型语言模型的推理行为 -- 调查研究

    大型语言模型在推理任务中表现出色，但是它们的推理能力深度尚不确定。本文通过综述超越任务准确性的研究，深入探讨模型的推理过程，并调查评估语言模型推理行为的方法，发现其依赖于训练数据的表面模式和相关性，而非真正的推理能力。同时，我们指出需要进一步研究人类推理与语言模型推理之间的关键差异。通过此综述，我们旨在揭示大型语言模型内部复杂的推理过程。

    Apr, 2024