本文研究当前的大型语言模型是否存在逻辑推理的偏见，探讨三种主要偏见类型，并介绍一种心理实验数据集 NeuBAROCO。通过分析数据集，发现当前的大型语言模型在涉及到这三种类型偏见的问题上表现欠佳。

Jun, 2023

大型语言模型在逐步推理指令（例如思维链提示）方面具有优势。在此基础上，它们在执行连贯思维推理方面的鲁棒性是一个值得探究的问题。本研究检验大型语言模型在逐步推理能力方面，重点关注难以处理的核心语言现象——否定。通过引入几个受控设置（例如处理虚构实体时的推理）来评估模型的逻辑推理能力。我们观察到当进行逐步推理时，许多现代大型语言模型在处理否定词（例如plausible -> implausible）时不具有鲁棒性，研究结果凸显了每个大型语言模型家族中独特的局限性。

Oct, 2023

语言模型在逻辑推理中能够模仿人类偏见，并在某些情况下克服它们。

Nov, 2023

探索大型语言模型（LLMs）在逻辑推理能力方面的表现，重点关注涉及条件句和认识模态的推理模式，并发现大部分模型在条件句方面存在基本错误，甚至最新的GPT-4在涉及认识模态的推理模式中也存在逻辑上的不一致判断。

Jan, 2024

该研究通过对大型语言模型在命题逻辑问题上的响应进行细致评估，利用认知心理学原理探讨了模型使用的推理策略。结果发现，大型语言模型展示出类似于人类的推理模式，包括“解释跟踪”和“链式构建”等策略。此外，该研究表明模型的架构和规模显著影响其首选的推理方法，较先进的模型更倾向于频繁使用这些策略。模型的准确性并不必然反映其推理过程的有效性，这一区别强调了该领域需要更为精细的评估程序。

Feb, 2024

通过研究大型语言模型（LLMs）的决策过程中的偏见，本研究揭示了不同偏见在决策过程中的微妙作用，并发现合适的平衡可以提高模型性能、改善决策准确性。我们引入了启发式调节和弃权选项的概念，并通过我们的研究结果表明，恰当缩放的偏见检查能够使LLMs的决策更符合人类的推理，提高其可靠性和值得信赖性，从而为未来的改进提供了新的策略。

Jun, 2024

该研究介绍了一个假设检验框架，用于评估大型语言模型（LLMs）是否具有真正的推理能力，还是主要依赖于令牌偏差。我们超越准确性的评估，旨在调查LLMs在解决逻辑推理任务时的令牌偏差。具体而言，我们开发了精心控制的合成数据集，其中包括合取谬误和演绎问题。我们的框架概述了一系列假设，其中令牌偏差很容易被识别，所有零假设均假设LLMs具有真正的推理能力。本研究的发现以统计保证表明，多数LLMs在逻辑推理方面仍然有困难。尽管它们在经典问题上表现出色，但它们的成功主要依赖于识别带有强烈令牌偏差的表面模式，因此引发了对其实际推理和泛化能力的担忧。

Jun, 2024

我们系统地研究了大型语言模型在选择式推理中的思维方式、背景学习和有监督微调的影响，并考虑了支持或违反世界知识的结论以及具有多个前提的典型推理。我们的结果表明，大型语言模型的行为可以通过认知科学中研究的启发式方式来解释，而背景学习和有监督微调都能提高模型在有效推理上的性能，尽管只有有监督微调能够减少大部分的推理偏差而不损害模型的一致性。

Jun, 2024

对于大型语言模型在逻辑推断任务中的表现方式存在疑问，本文对先前关于大型语言模型在分析范畴三段论的逻辑推理能力方面的研究进行了系统概述，并总结了其推理范畴三段论有效性的性能。结果显示，解释量词似乎是限制语言模型性能的主要瓶颈，并值得更多关注。希望本研究不仅能提供对于范畴三段论当前文献的及时回顾，而且能激发更多跨学科研究，特别是计算语言学家和逻辑学家之间的合作。

Jun, 2024

本研究解决了自回归语言模型在逻辑推理中是否真正学习到系统推理原则的争议。通过电路发现方法，本研究揭示了一个必要且充分的电路，阐明了模型如何从前提中推导有效结论的过程，并分析了信念偏差在三段论推理中的表现。研究结果表明，语言模型确实学习了可转移的内容独立推理机制，但这些机制受到前期训练获得的世界知识的影响。

Aug, 2024