提出了一种名为 GFaiR 的新框架，它引入了分辨解证法的范式，以解决现有大型语言模型在自然语言中表达的形式逻辑理论推理问题上的理论不完备性问题。实验证明，在复杂情境下，我们的系统表现出卓越的性能，同时在简单情境中保持着良好的性能，且 GFaiR 对其推理过程忠实可靠。

Apr, 2024

本论文研究一种新的知识表示方法，采用自然语言句子代替形式化表示，并使用合成数据训练 Transformer 模型进行推理。该方法有望提供一种新的 “软定理证明器” 的运作方式，用于问题回答，实现解释性、校正性和反事实推理等新功能。

Feb, 2020

本文通过提出的 RobustLR 数据集，对当前在英语自然语言逻辑规则库上执行演绎推理的 Transformer 模型的鲁棒性进行了评估，结果展示这些模型在面临最小改动的逻辑规则库的情况下表现不一致，难以学习逻辑否定和逻辑联合运算符，从而揭示出这些基于推导式推理的自然语言处理模型的一些缺陷。

May, 2022

本篇论文提出了一种基于预训练的 Transformer 模型 fine-tune 的方法，使之具备在对话语境中进行逻辑推理和回答问题的能力，而无需额外的训练数据集。研究结果表明，该模型在已训练属性上能够达到 90% 以上的精度，在适当的对话语境下能够提取出适当的限制条件传递给下游组件 (e.g. 知识库)。

Feb, 2022

通过对十二个大型语言模型进行因果中介分析，本文发现大型语言模型在生成最终答案时并不可靠地使用中间推理步骤。为了解决这个问题，我们引入了 FRODO 框架，该框架通过使用隐式因果奖励函数生成正确的推理步骤，以及通过因果和对抗优化目标忠实地进行推理。实验证明，FRODO 显著优于其他四个基线方法，提高了推理语言模型的鲁棒性和泛化能力，在分布外测试集上表现更好。最后，我们发现 FRODO 的解释对最终答案的预测更加可靠。

Feb, 2024

机器学习模型，特别是语言模型，被应用于需要推理的各种任务。我们探索了 transformers 将自然语言中表达规则的句子翻译成逻辑规则的能力，以便进行可信的和受控制的逻辑推理。通过使用 DKET 数据集和基于 Atomic 知识库的语言到逻辑翻译数据集进行实验。

Nov, 2023

本文介绍了一种基于逻辑推理的神经网络架构 FOLNet，它可以有效地学习强大的语言表示，并具有更强的迁移学习能力。实验证明，FOLNet 模型在多个语言理解任务中胜过了现有的强大的基于 Transformer 的方法。

Feb, 2023

本研究分析了 transformer-based 语言模型中的概率逻辑规则应用，并提出了 Probabilistic Constraint Training (PCT) 方法，该方法显式地模拟了概率逻辑推理，并在新的 QA 基准中评估了其准确性和可解释性。结果表明，该方法可以提高基本语言模型在需要概率逻辑推理时的准确性和解释性，并且该技术的学习也可适用于新的情境。

May, 2023

本研究通过提出一种新的方法构建具有挑战性的自然语言可满足性问题数据集，以研究 transformer 模型的推理能力，发现这些模型在解决困难的 NLSat 问题方面表现出非常强的能力，但仍然存在限制，包括需要选取适当的训练数据才能适用于更大的问题和限制其推理能力的问题。

Dec, 2021

本文提出了一种迭代推理算法来实现多跳解释再生，该算法根据自然语言问题和其答案检索相关的事实证据。该算法通过自回归地从语料库中选取事实，以学习排序损失的方式来缓解多源证据的选择问题。使用预训练的 Transformer 模型进行实验，结果显示该算法在精度、培训时间和推理效率方面均优于先前的最先进技术。

Dec, 2020