本论文研究一种新的知识表示方法，采用自然语言句子代替形式化表示，并使用合成数据训练Transformer模型进行推理。该方法有望提供一种新的“软定理证明器”的运作方式，用于问题回答，实现解释性、校正性和反事实推理等新功能。

Feb, 2020

本研究通过提出一种新的方法构建具有挑战性的自然语言可满足性问题数据集，以研究transformer模型的推理能力，发现这些模型在解决困难的NLSat问题方面表现出非常强的能力，但仍然存在限制，包括需要选取适当的训练数据才能适用于更大的问题和限制其推理能力的问题。

Dec, 2021

本文从理论上评估解码器型Transformer模型的计算普适性，证明单层单注意头的解码器型Transformer架构在合理假定下是图灵完备的，同时揭示词嵌入的稀疏性/可压缩性是图灵完备性持有的必要条件。

May, 2023

我们研究了可以被Transformer编码器识别的形式语言，重点关注了两种自注意机制：UHAT（Unique Hard Attention Transformers）和AHAT（Average Hard Attention Transformers）。我们展示了UHAT编码器可以识别第一阶逻辑中可定义的所有语言，而AHAT编码器可以识别加上计数项的逻辑中的所有语言。

Oct, 2023

研究表明，通过允许transformer在回答问题之前生成和依赖于中间令牌的序列，可以提高其推理能力，增加中间生成的数量将显著扩展transformer解码器的计算能力，进而使其能够识别所有正则语言，保持上下文敏感语言，并解决多项式时间可解问题。

Oct, 2023

调查了Transformer大型语言模型在涉及抽象符号的关系推理任务中的能力。对于(i)回归任务，我们证明了Transformer在训练时具有泛化性，但需要大量的训练数据；对于具有符号标签的(ii)下一个令牌预测任务，我们展示了一种“反比例尺律”：随着嵌入维度的增加，Transformer无法泛化。针对(i)和(ii)这两种情况，我们提出了微妙的Transformer修改，通过每个头部添加两个可训练参数来减少所需的数据量。

Oct, 2023

本文研究了仅编码器变换器语言模型在逻辑规则推理方面的能力，并通过多个数据集的实验结果表明，这些语言模型在确定逻辑有效性上取得了合理的程度，但在迁移能力方面存在困难，可能是学习了特定数据集的特征而不是一般的能力，同时通过分层探测实验证明假设分类任务主要是通过较高层解决的。

Dec, 2023

通过表达能力的角度，本文从理论上解释了串行思维链（CoT）对仅解码器的变压器的增强作用，通过对中间步骤（即CoT）的生成模型进行指导，可以显著提高大型语言模型在算术和符号推理任务上的准确性。

Feb, 2024

基于序列变换器的计算能力，提出了时序计数逻辑Kt和C-RASP变种，并证明它们可以编译为具有未限制输入大小的未来掩码软注意力变换器，从而形成了迄今为止已知的形式表达能力下界。

Apr, 2024

本研究探讨了大型语言模型在布尔可满足性(SAT)问题中的逻辑推理能力。通过构建一个仅解码器的变换器来解决SAT问题，并利用回溯和链式思维（CoT）进行推理，我们展示了该模型与著名的DPLL SAT求解算法具有等效性。研究的关键在于验证变换器能否通过学习DPLL算法的推理路径直接进行推理，而不是单纯通过编程实现。

Oct, 2024