神经符号融合带来因果和可靠推理证明
Logic-LM 是一种将大型语言模型与符号推理相结合的框架,通过首先使用大型语言模型将自然语言问题转化为符号形式,然后进行确定性符号求解,以及自我精炼阶段来修正符号形式,在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明,与仅使用大型语言模型相比,我们的方法可以显著提高逻辑推理的性能。
May, 2023
本研究的主要目标是使用预先训练的语言模型来进行推理,特别是在推理时使用解释以增强上下文学习。作者将神经符号方法重新引入到这个任务中,并将语言模型作为逻辑程序员,以在知识库中迭代推理。实验结果表明,相对于上下文学习策略, LMLP 在演绎和长度归纳基准测试中表现得更加优秀。
Dec, 2022
通过将大型语言模型(LLMs)与定理证明器(TPs)相结合,本文研究了自然语言解释的验证和改进,提出了一个名为 Explanation-Refiner 的神经符号框架,用于生成和形式化解释句子,并为自然语言推理(NLI)提供潜在的推理策略。同时,定理证明器用于提供解释逻辑有效性的形式保证,并针对改进提供反馈。展示了如何共同使用 Explanation-Refiner 来评估最先进的 LLMs 的解释推理、自动形式化和错误纠正机制,以及自动提高不同领域中复杂性不同的人工注释解释的质量。
May, 2024
通过使用神经符号计算来全面利用 LLMs 和符号化证明器,本文探索了以逻辑推理任务,特别是符合自然语言的任务为基础的解决方案。
Oct, 2023
本研究探讨如何利用混合神经符号技术来增强大型语言模型在伦理自然语言推理中的逻辑有效性和一致性,通过整合外部的向后求解器,改进逐步自然语言解释的过程,验证解释的正确性,减少不完整性和冗余性,并生成支持模型推理的形式证明,从而提高在多步伦理自然语言推理任务中解释的质量。
Feb, 2024
通过将大型语言模型 (LLMs) 与各种符号求解器相结合,我们对 Z3、Pyke 和 Prover9 三个符号求解器的性能进行实验证明,其中与 LLMs 相结合时,Pyke 的性能明显低于 Prover9 和 Z3,Z3 的总体准确性略高于 Prover9,但 Prover9 能够处理更多问题。
Jun, 2024
本文旨在研究任务驱动对话系统的可解释性,提出了一种采用前后明确逻辑推理的神经符号学方法,并设计了一种由假设生成器和推理器构成的两阶段方法来克服多跳推理带来的错误传播问题,实验结果证明该方法不仅获得了更好的效果,而且具有可解释性决策过程。
Mar, 2022
本文介绍了一个基于强化学习和内省修订的神经符号自然逻辑框架,通过策略梯度对特定推断路径进行采样和奖励,并利用外部知识缓解虚假推理和训练低效问题。该模型具有内在的可解释性,在单调性推理、系统泛化和可解释性方面表现出优越能力,相对于先前的模型在现有数据集上表现更好。
Mar, 2022
神经符号 AI 旨在将深度学习与符号 AI 相结合,以减少训练神经网络所需的数据量,提高模型给出答案的可解释性和可解性,并验证经过训练的系统的正确性。我们研究神经符号学习,既有使用符号语言表示的数据,也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件,以交流这一知识。
Jan, 2024
在这篇论文中,我们提出了一种名为 SYRELM 的架构,它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述,然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式,并通过策略梯度强化学习训练适应的 LM,从而实现合理的算术推理。该方法在准确性上取得了巨大的改进,并具有易于诊断、解释和大多数研究人员可以使用的特点。
Dec, 2023