本文对预训练语言模型的可学习演绎性能进行了全面评估，发现该模型存在推理规则泛化不足、对表面形式的修改表现不稳定、在推理过程中出现遗忘现象等问题，说明预训练语言模型对于演绎推理的表现仍不可靠，远未达到人类的推理能力。

Oct, 2022

本文研究了大型语言模型LLMs的推理能力，通过对语义从推理过程中的剥离进行实验，发现语义在LLMs的推理中起着至关重要的作用，但在符号逻辑和违反常识的推理任务中表现出困难。作者提出了这一发现的新视角，并呼吁深入研究LLMs的推理机制。

May, 2023

本文针对大型语言模型的逻辑推理能力进行全面评估，选择15个经典数据集，评估模型的零点、单点和三点能力，提出客观和主观的细化评估方法，归纳出LLMs的逻辑推理能力的优势和不足并提出未来方向。

Jun, 2023

通过引入Concise and Organized Perception (COP)方法，可以高效地分解复杂的演绎问题并消除冗余信息，从而在与之前的方法相比表现显著优异的同时，减少错误推理的风险。

Oct, 2023

使用迭代性的假设修正技术，通过三步骤的提议、选择和修正来研究语言模型在归纳推理任务中的能力，并发现其在产生假设和筛选规则方面表现出色，但在识别可信规则和应用提议规则方面存在差距，揭示了语言模型在归纳推理任务中的潜力和局限。

Oct, 2023

该研究通过对大型语言模型在命题逻辑问题上的响应进行细致评估，利用认知心理学原理探讨了模型使用的推理策略。结果发现，大型语言模型展示出类似于人类的推理模式，包括“解释跟踪”和“链式构建”等策略。此外，该研究表明模型的架构和规模显著影响其首选的推理方法，较先进的模型更倾向于频繁使用这些策略。模型的准确性并不必然反映其推理过程的有效性，这一区别强调了该领域需要更为精细的评估程序。

Feb, 2024

通过研究不同类型的推理方式，以及对语言模型进行的指令跟随、少样本提示和指令推断实验，我们发现即使在一些最大的语言模型中，推理的方式仍然是非系统性的，不同的学习机制可能被看似相似的提示程序调用。

Apr, 2024

通过调查来自一系列领域中的抽象和上下文逻辑问题的对比，本研究旨在系统地分离纯逻辑推理和文本理解。我们探讨当基础逻辑结构保持不变时，LLMs 在各个领域中是否展示出真正的推理能力。

Jun, 2024

本研究针对大型语言模型（LLMs）在演绎与归纳推理能力区分不足的问题，提出了一个新框架SolverLearner，以探索LLMs的真实归纳推理能力。研究发现，LLMs在归纳推理方面表现出显著能力，但在演绎推理尤其是“反事实”推理任务中则相对欠缺。

Jul, 2024

该研究解决了大型语言模型（LLMs）真实推理能力的评估问题，表明现有方法可能因训练数据偏差而导致结果失真。研究采用3-SAT这一经典NP完全问题，从计算理论角度出发，考察了LLMs的推理能力，发现其在解决3-SAT问题时无法进行真正的推理。该发现对理解LLMs的局限性具有重要意义。

Aug, 2024