研究人员比较了基于文本和代码的大型语言模型对因果推理的能力，结果表明，相较于只针对文本的模型，基于代码编写的模型在因果推理方面更为出色。

May, 2023

本研究提出了一种叫做 code prompting 的新型神经符号提示方法，通过触发代码作为中间步骤，以实现符号和算术推理任务一直面对的语言及理解难题。经过对七项广泛使用的基准测试进行实验验证，研究者发现 Code Prompting 方法通常优于 Chain-of-Thought（CoT）Prompting。他们还考虑了代码提示和 CoT 提示的融合来结合两者的优点。最后，通过实验证明，代码注释及其位置如何影响代码提示。

May, 2023

探索大型语言模型（LLMs）在逻辑推理能力方面的表现，重点关注涉及条件句和认识模态的推理模式，并发现大部分模型在条件句方面存在基本错误，甚至最新的 GPT-4 在涉及认识模态的推理模式中也存在逻辑上的不一致判断。

Jan, 2024

本研究提供关于以语言模型提示为基础的推理的前沿研究的综合调查，介绍与比较了相关研究工作，并提供系统化的资源以帮助初学者，同时讨论了产生此类推理能力的潜在原因和未来的研究方向。

Dec, 2022

使用大型语言模型（LLMs）自动化医疗任务，如临床记录、信息检索和决策支持。我们提出一种修改的 MedQA-USMLE 数据集，用于模拟真实的临床场景，并探索基于思维链（CoT）推理的主观响应生成，以获取正确的医疗问题答案。我们还利用回报训练机制和人类参与，开发了更好的对比学习策略，并通过增量推理的提示得出贪婪解码方法比其他策略更好的结论。

Mar, 2024

最近的大型语言模型 (LLMs) 的前进使得思维链 (CoT) 提醒的紧急能力增加，它是一种在问题和答案之间添加中间的合理步骤来构造提示的合理推理策略。在这些提示的条件下，LLMs 可以有效地学习上下文以生成比直接回答相同问题更准确的答案所需的合理性。为了设计 LLM 提示，有一个重要的设置，称为演示选择，它考虑从示例库中选择演示。现有的方法使用各种启发式方法进行选择，但对于涉及独特合理性的 CoT 提示而言，基于 CoT 合理性所需的固有技能进行选择至关重要，例如数学问题的加减法技能。为了解决这个要求，我们介绍了一种称为 “推理技能发现”（RSD）的新方法，它使用无监督学习创建合理性的潜在空间表示，称为推理技能。同时，RSD 学习一个推理策略来确定给定问题所需的推理技能。这可以指导演示所需的推理技能的选择。我们的方法具有几个理想的特性：它在理论上是有依据的，它需要较少的样本，不需要 LLM 推断或手动提示设计，且与 LLM 无关。从经验上看，RSD 在多个推理任务中的答案准确性方面优于现有方法多达 6%。

Dec, 2023

通过 chain of thought prompting 方法，在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过 fine-tuned GPT-3。

Jan, 2022

GPT4 可以通过使用诊断推理提示模拟临床医生的常见临床推理过程，而不会损失诊断准确性，因此它可以为医生提供评估 LLMs 是否可信赖用于患者护理的手段。新的提示方法有潜力揭示 LLMs 的黑盒子，将它们推向在医学中安全有效使用的一步。

Aug, 2023

通过探索不同的思维链和验证推理过程中的各个步骤，我们提出了三个模型应遵循的原则（相关性、数学准确性和逻辑一致性），并将这些原则应用于大型语言模型的推理步骤，以提高最终生成结果的准确性。通过使用困惑度作为额外的验证器来引导高质量解决方案的生成，我们在 4 种不同类型的推理任务上评估了我们的方法，涵盖了共计 9 个不同的数据集。实验证明，我们的方法始终优于基准生成，并且在 9 个数据集中的 6 个数据集中，优于最佳的 N 个采样方法。

Apr, 2024

大规模语言模型的推理能力可通过修改解码过程有效地引出连续推理路径，而不需要手动设计提示技术，这种具备内在推理能力的解码方法优于传统贪婪解码方式。

Feb, 2024