Oct, 2023

LINC: 将语言模型与一阶逻辑证明器相结合的神经符号化逻辑推理方法

PDF
TL;DR通过使用神经符号计算来全面利用 LLMs 和符号化证明器，本文探索了以逻辑推理任务，特别是符合自然语言的任务为基础的解决方案。
logical reasoningartificial intelligenceneurosymbolic programmingtheorem provernatural language
发现论文，激发创造
  • 符号表示对于背景下少样本推理学习的影响

    本研究的主要目标是使用预先训练的语言模型来进行推理，特别是在推理时使用解释以增强上下文学习。作者将神经符号方法重新引入到这个任务中，并将语言模型作为逻辑程序员，以在知识库中迭代推理。实验结果表明，相对于上下文学习策略， LMLP 在演绎和长度归纳基准测试中表现得更加优秀。

    Dec, 2022

  • 神经逻辑推理

    本文介绍了如何利用动态神经网络结构和基本逻辑操作，将深度学习和逻辑推理相结合，提出了名为 LINN 的模型，以推理方式解决推荐系统的问题，并在理论和实践任务中都取得了显著的性能提升。

    Aug, 2020

  • Logic-LM: 使用符号求解器增强大型语言模型进行可靠的逻辑推理

    Logic-LM 是一种将大型语言模型与符号推理相结合的框架，通过首先使用大型语言模型将自然语言问题转化为符号形式，然后进行确定性符号求解，以及自我精炼阶段来修正符号形式，在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明，与仅使用大型语言模型相比，我们的方法可以显著提高逻辑推理的性能。

    May, 2023

  • 通过迭代符号细化增强大型语言模型的伦理解释

    本研究探讨如何利用混合神经符号技术来增强大型语言模型在伦理自然语言推理中的逻辑有效性和一致性，通过整合外部的向后求解器，改进逐步自然语言解释的过程，验证解释的正确性，减少不完整性和冗余性，并生成支持模型推理的形式证明，从而提高在多步伦理自然语言推理任务中解释的质量。

    Feb, 2024

  • 神经符号融合带来因果和可靠推理证明

    通过神经符号一体化方法，结合 LLMs 和符号求解器，实现了确定性执行性质的推理证明，提高了准确性和证明相似度。

    Nov, 2023

  • 语言模型可作为逻辑求解器

    LoGiPT 是一种新颖的语言模型，通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则，绕过分析错误，并在竞争的语言模型上表现出优异的性能。

    Nov, 2023

  • 大型语言模型作为软性推理器的系统分析：以三段论推理为例

    我们系统地研究了大型语言模型在选择式推理中的思维方式、背景学习和有监督微调的影响，并考虑了支持或违反世界知识的结论以及具有多个前提的典型推理。我们的结果表明，大型语言模型的行为可以通过认知科学中研究的启发式方式来解释，而背景学习和有监督微调都能提高模型在有效推理上的性能，尽管只有有监督微调能够减少大部分的推理偏差而不损害模型的一致性。

    Jun, 2024

  • 大型语言模型是上下文语义推理者而非符号推理者

    本文研究了大型语言模型 LLMs 的推理能力，通过对语义从推理过程中的剥离进行实验，发现语义在 LLMs 的推理中起着至关重要的作用，但在符号逻辑和违反常识的推理任务中表现出困难。作者提出了这一发现的新视角，并呼吁深入研究 LLMs 的推理机制。

    May, 2023

  • LLM 是否是严格的逻辑推理者？通过对比逐步解码增强自然语言证明生成

    通过引入先进的思维链接策略和分步证明生成对小规模语言模型进行微调，增强了逻辑推理能力，成功提升了语言模型完成复杂推理任务的效果。

    Nov, 2023

  • 通过 LLM - 符号定理证明验证和改进自然语言解释

    通过将大型语言模型（LLMs）与定理证明器（TPs）相结合，本文研究了自然语言解释的验证和改进，提出了一个名为 Explanation-Refiner 的神经符号框架，用于生成和形式化解释句子，并为自然语言推理（NLI）提供潜在的推理策略。同时，定理证明器用于提供解释逻辑有效性的形式保证，并针对改进提供反馈。展示了如何共同使用 Explanation-Refiner 来评估最先进的 LLMs 的解释推理、自动形式化和错误纠正机制，以及自动提高不同领域中复杂性不同的人工注释解释的质量。

    May, 2024