Nov, 2023

逻辑推理解释生成

PDF
TL;DR本论文研究了在演绎推理中的胜于推理论据，强调它们在法律、哲学和人工智能等领域的相关性。研究集中于利用 GPT-3.5-turbo 自动化分析这些论据，并着重于理解复杂的推理过程、生成清晰连贯的解释以及创建新颖的论据。尽管 GPT-3.5-turbo 在准确检测和分类胜于论据方面面临一些挑战，但该模型展现出与专门模型相媲美的性能，尤其是在提取关键组成部分和解释底层属性方面。此外，将外部信息整合到模型的处理过程中显著提高了生成解释的质量。尽管存在某些限制，这篇论文对人工智能和逻辑推理领域做出了重要贡献，引入了新的方法论，建立了严格的评估框架，并提供了深入的见解，为自动化逻辑推理的未来发展奠定了基础。本文所提出的发现和方法不仅凸显了人工智能在复杂推理任务中的潜力，也突出了未来研究和发展的方向。
发现论文，激发创造
  • ChatGPT 在声明验证背景下的推理能力评估

    我们提出了一个基于逻辑推理的框架，用于将宣称或传言与证据分解为验证所需的原子推理步骤，并通过维基百科的合成数据集和在 Twitter 上流传的谣言的真实数据集对 GPT-3.5-Turbo 和 GPT-4（以下简称 ChatGPT）的推理能力进行评估，结果显示 ChatGPT 在因果推理方面存在困难，但通过使用手动 Chain of Thought（CoT）而不是 Zero Shot（ZS）和 ZS CoT 方法可以在一定程度上缓解这一问题。我们的研究为 ChatGPT 的推理过程不太可能与人类类似的推理过程相一致，并且指出 LLMs 需要在高风险的实际任务（如宣称验证）中进行更严格的评估，以区分炒作和实际能力。

    Feb, 2024

  • 具有上下文敏感声明性语法的扩展合成逻辑推理数据集

    利用培训语言模型模仿定理证明器在过程生成的问题上进行逻辑推理仍然是自然语言处理的一个挑战。我们提出了一个更简单、更普遍的声明性框架，通过灵活的上下文敏感规则来绑定多种语言（特别是简化英语和 TPTP 定理证明语言），从而改进了逻辑推理的能力。我们使用语义约束在生成过程中，并对谓词进行仔细的英语表达，提高了逻辑推理能力，而不损害自然英语任务。我们使用相对较小的 DeBERTa-v3 模型在人类编写的逻辑数据集 FOLIO 上实现了最先进的准确性，在有或无外部求解器的情况下，精度超过了 GPT-4 12%。

    Jun, 2024

  • 生成语言模型中演绎推理的出现

    本研究初步探讨了生成 Transformer 模型从给定前提中演绎推理的能力，发现其性能与训练设置和参数规模有显著差异，而且推理链的长度一般不会影响性能，除了 OpenAI GPT-3 和 GPT-3.5 模型。研究考虑了大小从 1.17 亿到 1750 亿参数的多种变压器解码器模型。

    May, 2023

  • 用于自动定理证明的生成语言建模

    本文探讨了基于 Transformer 的语言模型在自动定理证明中的应用，提出了基于语言模型的生成能够解决自动定理证明器与人类相比的主要限制之一 —— 原始数学术语的生成问题。我们提出了一个自动证明器和证明辅助工具 GPT-f，使用 Metamath 形式语言，并分析了其性能。 GPT-f 发现了新的简短证明，并被采纳为正式数学社区所接受，这是我们所知道的第一次基于深度学习的系统为正式数学社区做出的贡献。

    Sep, 2020

  • 语言模型的批判性思维

    本文提出了一种针对神经自回归语言模型的批判性思维课程的初步探索，为此我们介绍了一种综合语料库，并生成人工辩论文本进行训练和评估。结果显示，在核心辩论中进行预训练能够显著提高语言模型的推理能力。本文中介绍的人工辩论文本是构建 “语言模型的批判性思维课程” 的一个有前途的起点。

    Sep, 2020

  • ChatGPT 能够进行解释性推理吗？作为归纳推理的基准测试

    这篇论文提出了一套用于评估 AI 程序进行解释性推理能力的基准，使用这些基准来确定目前领先的生成式 AI 模型 ChatGPT 在进行解释性推理方面的能力。基准测试结果表明，ChatGPT 在多个领域中能够进行创造性的推理和评估推理，尽管其仅限于语言和视觉模式。论文否定了 ChatGPT 和类似模型在解释、理解、因果推理、意义和创造力等方面无能的观点。

    Apr, 2024

  • GPT-4 语言模型的诱因推理：刑侦、医疗实践和科学研究的案例研究

    本研究评估了 GPT-4 大型语言模型在医学诊断、犯罪学和宇宙学等复杂领域中的推理能力。通过交互式面试形式，该 AI 助手展示了在生成和选择假设方面的可靠性。它基于病人数据推测出可行的医学诊断，并在犯罪学和宇宙学领域提供了潜在的原因和解释。研究结果突出了 LLM 在复杂问题解决方面的潜力，并强调了进一步研究以最大化它们实际应用的必要性。

    Jul, 2023

  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • 评估 ChatGPT 和 GPT-4 的逻辑推理能力

    本研究评估了 GPT-4 在逻辑推断任务中的性能，包括多项逻辑推断数据集的测试以及构建一个逻辑推理离散数据集进行实验。结论显示，尽管 GPT-4 表现优异，但逻辑推理对 ChatGPT 和 GPT-4 来说仍然是一项挑战。

    Apr, 2023

  • A & B == B & A：在大型语言模型中触发逻辑推理失败

    我们引入了 LogicAsker，它是一种自动方法，全面评估和改进基于命题和谓词逻辑的大型语言模型的逻辑推理能力，并揭示了 LLM 未能学好的逻辑规则。我们评估了 LogicAsker 在 GPT-3、ChatGPT、GPT-4、Bard、Vicuna 和 Guanaco 等主要的大型语言模型上，并展示了 LogicAsker 的测试用例在不同 LLM 中发现逻辑推理错误的比率从 25% 到 94% 不等。此外，LogicAsker 的测试用例可以进一步用于设计上下文学习的演示例子，有效提高 LLM 的逻辑推理能力，如 GPT-4 提高了 10%。据我们所知，我们的工作是首次基于测试结果创建提示来有效提高 LLM 的形式推理能力。所有的代码、数据和结果都将被公开以供复制和未来研究。

    Jan, 2024