本篇论文提出了一种基于预训练的 Transformer 模型 fine-tune 的方法，使之具备在对话语境中进行逻辑推理和回答问题的能力，而无需额外的训练数据集。研究结果表明，该模型在已训练属性上能够达到 90% 以上的精度，在适当的对话语境下能够提取出适当的限制条件传递给下游组件 (e.g. 知识库)。

Feb, 2022

利用培训语言模型模仿定理证明器在过程生成的问题上进行逻辑推理仍然是自然语言处理的一个挑战。我们提出了一个更简单、更普遍的声明性框架，通过灵活的上下文敏感规则来绑定多种语言（特别是简化英语和 TPTP 定理证明语言），从而改进了逻辑推理的能力。我们使用语义约束在生成过程中，并对谓词进行仔细的英语表达，提高了逻辑推理能力，而不损害自然英语任务。我们使用相对较小的 DeBERTa-v3 模型在人类编写的逻辑数据集 FOLIO 上实现了最先进的准确性，在有或无外部求解器的情况下，精度超过了 GPT-4 12%。

Jun, 2024

利用自然语言问句的分解来指导模型学习不同宽度的推理，在构建约 900 种不同推理模式数据的同时提高了典型语言模型在 4 个多步问题问答数据集上的 F1 表现，具有更高的鲁棒性，使得在两个对比数据集上 F1 点数提高了 5-8 个点。

May, 2022

本研究通过提出一种新的方法构建具有挑战性的自然语言可满足性问题数据集，以研究 transformer 模型的推理能力，发现这些模型在解决困难的 NLSat 问题方面表现出非常强的能力，但仍然存在限制，包括需要选取适当的训练数据才能适用于更大的问题和限制其推理能力的问题。

Dec, 2021

本研究初步探讨了生成 Transformer 模型从给定前提中演绎推理的能力，发现其性能与训练设置和参数规模有显著差异，而且推理链的长度一般不会影响性能，除了 OpenAI GPT-3 和 GPT-3.5 模型。研究考虑了大小从 1.17 亿到 1750 亿参数的多种变压器解码器模型。

May, 2023

本文研究了仅编码器变换器语言模型在逻辑规则推理方面的能力，并通过多个数据集的实验结果表明，这些语言模型在确定逻辑有效性上取得了合理的程度，但在迁移能力方面存在困难，可能是学习了特定数据集的特征而不是一般的能力，同时通过分层探测实验证明假设分类任务主要是通过较高层解决的。

Dec, 2023

本研究分析了 transformer-based 语言模型中的概率逻辑规则应用，并提出了 Probabilistic Constraint Training (PCT) 方法，该方法显式地模拟了概率逻辑推理，并在新的 QA 基准中评估了其准确性和可解释性。结果表明，该方法可以提高基本语言模型在需要概率逻辑推理时的准确性和解释性，并且该技术的学习也可适用于新的情境。

May, 2023

本文对深度学习在自然语言处理（NLP）方面的最新应用进行了调查研究，发现 transformer-based language models 在检测受控自然语言片段的有效推理方面表现出明显的过拟合问题，未能获取主导推理的逻辑原则。

Nov, 2022

大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

Oct, 2023

本文通过提出的 RobustLR 数据集，对当前在英语自然语言逻辑规则库上执行演绎推理的 Transformer 模型的鲁棒性进行了评估，结果展示这些模型在面临最小改动的逻辑规则库的情况下表现不一致，难以学习逻辑否定和逻辑联合运算符，从而揭示出这些基于推导式推理的自然语言处理模型的一些缺陷。

May, 2022