Jun, 2024

具有上下文敏感声明性语法的扩展合成逻辑推理数据集

PDF
TL;DR利用培训语言模型模仿定理证明器在过程生成的问题上进行逻辑推理仍然是自然语言处理的一个挑战。我们提出了一个更简单、更普遍的声明性框架，通过灵活的上下文敏感规则来绑定多种语言（特别是简化英语和 TPTP 定理证明语言），从而改进了逻辑推理的能力。我们使用语义约束在生成过程中，并对谓词进行仔细的英语表达，提高了逻辑推理能力，而不损害自然英语任务。我们使用相对较小的 DeBERTa-v3 模型在人类编写的逻辑数据集 FOLIO 上实现了最先进的准确性，在有或无外部求解器的情况下，精度超过了 GPT-4 12%。
发现论文，激发创造
  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • 基于 Transformer 的描述逻辑上下文推理

    通过使用描述逻辑知识库构建一个合成的自然语言问答数据集，本研究评估了基于 transformer 的模型在推理能力、合成语境和知识库相关的问题上的表现，并展示了模型在训练过程中对不同推理深度的泛化能力。

    Nov, 2023

  • 自然语言推理的灵活生成

    本研究提出了 ParaPattern，该方法利用自动化流程从维基百科生成训练数据，并使用 BART 模型在无直接人类监督下从多样的自然语言输入中生成演绎推理，结果表明，ParaPattern 模型在无领域训练数据的情况下，表现优于基线系统。

    Apr, 2021

  • 逻辑驱动的上下文扩展和数据增强用于文本逻辑推理

    本研究提出了一种理解文本中逻辑符号和表达式以得出答案的方法，并基于此提出了一种扩展文本上下文的框架和一种数据增广算法，可以更好地捕捉逻辑信息，特别是关于逻辑否定和条件关系，结果表明这种方法在 ReClor 数据集上实现了最先进的性能，多模型集成系统是第一个在 ReClor 的 EASY 和 HARD 数据集上超过人类表现的系统。

    May, 2021

  • 语言模型是贪心推理器：对思维链的系统形式分析

    本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

    Oct, 2022

  • 语言模型可作为逻辑求解器

    LoGiPT 是一种新颖的语言模型，通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则，绕过分析错误，并在竞争的语言模型上表现出优异的性能。

    Nov, 2023

  • 基于形式逻辑的合成语料学习演绎推理

    我们研究了一种基于合成语料库的方法来增强语言模型（LMs）的逻辑演绎推理能力。我们采用了基于形式逻辑理论的一组规则作为推论语料库，从而获得更具推广能力的演绎推理能力。此外，我们还确定了推论语料库对 LMs 可以提升的推理能力方面以及对其无法提升的方面，并讨论了应用推论语料库或其他方法在每个方面的未来发展方向。

    Aug, 2023

  • 逻辑推理解释生成

    本论文研究了在演绎推理中的胜于推理论据，强调它们在法律、哲学和人工智能等领域的相关性。研究集中于利用 GPT-3.5-turbo 自动化分析这些论据，并着重于理解复杂的推理过程、生成清晰连贯的解释以及创建新颖的论据。尽管 GPT-3.5-turbo 在准确检测和分类胜于论据方面面临一些挑战，但该模型展现出与专门模型相媲美的性能，尤其是在提取关键组成部分和解释底层属性方面。此外，将外部信息整合到模型的处理过程中显著提高了生成解释的质量。尽管存在某些限制，这篇论文对人工智能和逻辑推理领域做出了重要贡献，引入了新的方法论，建立了严格的评估框架，并提供了深入的见解，为自动化逻辑推理的未来发展奠定了基础。本文所提出的发现和方法不仅凸显了人工智能在复杂推理任务中的潜力，也突出了未来研究和发展的方向。

    Nov, 2023

  • 大型语言模型的逻辑推理能力系统评估

    最近发展的大型语言模型 (LLMs) 在各种语言理解任务上表现出色，但它们真正能够对自然语言进行 “推理” 吗？本文综合评估了 LLMS 在涵盖命题逻辑、一阶逻辑和非单调逻辑的 25 种不同推理模式上的逻辑推理能力，并引入了 LogicBench，一个关注单个推理规则使用的自然语言问答数据集，通过使用一系列的连贯思维提示与 GPT-4、ChatGPT、Gemini、Llama-2 和 Mistral 等多个 LLMS 进行详细分析。实验结果表明，现有的 LLMS 在 LogicBench 上表现不佳，尤其在涉及复杂推理和否定的情况下遇到困难，并有时忽视推理所需的上下文信息以得出正确结论。我们认为我们的工作和发现将有助于未来评估和提升 LLMS 的逻辑推理能力。

    Apr, 2024

  • 面向任务的对话系统的逻辑推理

    本篇论文提出了一种基于预训练的 Transformer 模型 fine-tune 的方法，使之具备在对话语境中进行逻辑推理和回答问题的能力，而无需额外的训练数据集。研究结果表明，该模型在已训练属性上能够达到 90% 以上的精度，在适当的对话语境下能够提取出适当的限制条件传递给下游组件 (e.g. 知识库)。

    Feb, 2022