本论文研究一种新的知识表示方法，采用自然语言句子代替形式化表示，并使用合成数据训练Transformer模型进行推理。该方法有望提供一种新的“软定理证明器”的运作方式，用于问题回答，实现解释性、校正性和反事实推理等新功能。

Feb, 2020

本文对深度学习在自然语言处理（NLP）方面的最新应用进行了调查研究，发现transformer-based language models在检测受控自然语言片段的有效推理方面表现出明显的过拟合问题，未能获取主导推理的逻辑原则。

Nov, 2022

本研究旨在探讨Transformer大型语言模型在复合任务上的局限性，研究结果表明Transformer模型虽然具有出色的多步推理性能，但其解决复合任务的方式是将多步推理化简为线性子图匹配，而并未完全发展出解决问题的系统性解决问题的方法，同时，随着任务复杂度的增加，Transformer模型的性能也会快速下降。

May, 2023

通过使用描述逻辑知识库构建一个合成的自然语言问答数据集，本研究评估了基于transformer的模型在推理能力、合成语境和知识库相关的问题上的表现，并展示了模型在训练过程中对不同推理深度的泛化能力。

Nov, 2023

本文研究了仅编码器变换器语言模型在逻辑规则推理方面的能力，并通过多个数据集的实验结果表明，这些语言模型在确定逻辑有效性上取得了合理的程度，但在迁移能力方面存在困难，可能是学习了特定数据集的特征而不是一般的能力，同时通过分层探测实验证明假设分类任务主要是通过较高层解决的。

Dec, 2023

用已知有误导性关联的数据集，在逻辑推理任务中训练两种模型：基于证明的生成式 Transformer 模型 WP-BART 和神经符号模型 SIP-BART。结果发现，SIP-BART 能够避免逻辑推理的捷径，而 WP-BART 无法。对于 SIP-BART，还发现了几种之前文献中未描述的推理错误类型，并进行了定性分析，创建了一个包含四种不同陷阱类型的分类系统。

Mar, 2024

本研究探讨了大型语言模型在布尔可满足性(SAT)问题中的逻辑推理能力。通过构建一个仅解码器的变换器来解决SAT问题，并利用回溯和链式思维（CoT）进行推理，我们展示了该模型与著名的DPLL SAT求解算法具有等效性。研究的关键在于验证变换器能否通过学习DPLL算法的推理路径直接进行推理，而不是单纯通过编程实现。

Oct, 2024

本研究针对现有评估基于变换器的语言模型的逻辑推理能力方法过于简单的问题，通过构建包含384,000个示例的自然语言数据集DELTA$_D$，在推理深度和语言复杂性上进行扩展。研究表明，经过我们的数据集微调的DeBERTa模型在蕴涵检查任务中表现出色，而GPT系列模型在少量样本下也能显著提升表现，展示了新的推理能力。

Oct, 2024

本研究探讨大型语言模型在复杂逻辑推理中的内部机制，解决了如何理解变换器在进行非平凡规划时的表现。我们通过合成命题逻辑问题，训练并评估变换器，并识别出其内部的“规划”和“推理”电路，发现其关注块之间的合作对于实现预期逻辑至关重要。这项研究揭示了变换器在逻辑推理中的新颖属性，推动了对其规划和推理能力的进一步理解。

Nov, 2024

本研究探讨了大型语言模型在复杂逻辑推理中的内部机制，旨在填补对其推理能力理解的空白。论文构建了一个合成的命题逻辑问题，并发现小型变压器能够完美解决这一问题，揭示了注意力模块之间的合作如何实现所需逻辑。该研究的重要发现为理解小型和大型变压器的推理过程提供了新见解，具有潜在的广泛影响。

Nov, 2024