本论文研究一种新的知识表示方法，采用自然语言句子代替形式化表示，并使用合成数据训练Transformer模型进行推理。该方法有望提供一种新的“软定理证明器”的运作方式，用于问题回答，实现解释性、校正性和反事实推理等新功能。

Feb, 2020

本研究通过提出一种新的方法构建具有挑战性的自然语言可满足性问题数据集，以研究transformer模型的推理能力，发现这些模型在解决困难的NLSat问题方面表现出非常强的能力，但仍然存在限制，包括需要选取适当的训练数据才能适用于更大的问题和限制其推理能力的问题。

Dec, 2021

本文对深度学习在自然语言处理（NLP）方面的最新应用进行了调查研究，发现transformer-based language models在检测受控自然语言片段的有效推理方面表现出明显的过拟合问题，未能获取主导推理的逻辑原则。

Nov, 2022

本研究初步探讨了生成 Transformer 模型从给定前提中演绎推理的能力，发现其性能与训练设置和参数规模有显著差异，而且推理链的长度一般不会影响性能，除了 OpenAI GPT-3 和 GPT-3.5 模型。研究考虑了大小从 1.17 亿到 1750 亿参数的多种变压器解码器模型。

May, 2023

调查了Transformer大型语言模型在涉及抽象符号的关系推理任务中的能力。对于(i)回归任务，我们证明了Transformer在训练时具有泛化性，但需要大量的训练数据；对于具有符号标签的(ii)下一个令牌预测任务，我们展示了一种“反比例尺律”：随着嵌入维度的增加，Transformer无法泛化。针对(i)和(ii)这两种情况，我们提出了微妙的Transformer修改，通过每个头部添加两个可训练参数来减少所需的数据量。

Oct, 2023

用已知有误导性关联的数据集，在逻辑推理任务中训练两种模型：基于证明的生成式 Transformer 模型 WP-BART 和神经符号模型 SIP-BART。结果发现，SIP-BART 能够避免逻辑推理的捷径，而 WP-BART 无法。对于 SIP-BART，还发现了几种之前文献中未描述的推理错误类型，并进行了定性分析，创建了一个包含四种不同陷阱类型的分类系统。

Mar, 2024

本研究解决了传统AI在逻辑知识表示背景下推理能力不足的问题，探讨了基于变换器的语言模型的推理能力。作者提出了一种新的方法，通过注入知识表示风格的推理能力来增强语言模型的表现，研究结果预计将显著提高这些模型在需要高精度和可靠性的领域中的应用价值。

Oct, 2024

本研究针对现有评估基于变换器的语言模型的逻辑推理能力方法过于简单的问题，通过构建包含384,000个示例的自然语言数据集DELTA$_D$，在推理深度和语言复杂性上进行扩展。研究表明，经过我们的数据集微调的DeBERTa模型在蕴涵检查任务中表现出色，而GPT系列模型在少量样本下也能显著提升表现，展示了新的推理能力。

Oct, 2024

本研究探讨大型语言模型在复杂逻辑推理中的内部机制，解决了如何理解变换器在进行非平凡规划时的表现。我们通过合成命题逻辑问题，训练并评估变换器，并识别出其内部的“规划”和“推理”电路，发现其关注块之间的合作对于实现预期逻辑至关重要。这项研究揭示了变换器在逻辑推理中的新颖属性，推动了对其规划和推理能力的进一步理解。

Nov, 2024

本研究探讨了大型语言模型在复杂逻辑推理中的内部机制，旨在填补对其推理能力理解的空白。论文构建了一个合成的命题逻辑问题，并发现小型变压器能够完美解决这一问题，揭示了注意力模块之间的合作如何实现所需逻辑。该研究的重要发现为理解小型和大型变压器的推理过程提供了新见解，具有潜在的广泛影响。

Nov, 2024