思考大声说出来：动态上下文生成提高了 GPT-2 零样本推理性能

Mar, 2021

思考大声说出来：动态上下文生成提高了 GPT-2 零样本推理性能

Thinking Aloud: Dynamic Context Generation Improves Zero-Shot Reasoning Performance of GPT-2

Gregor Betz, Kyle Richardson, Christian Voigt

TL;DR通过使用自己生成的问题详述来扩展任务的上下文，动态问题详述可以显著提高 GPT-2 在推理和自然语言理解任务上的零 - shot 性能，该 elaboration 最符合原始问题描述的 elaboration 可以提高精度高达 24%。

Abstract

thinking aloud is an effective meta-cognitive strategy human reasoners apply to solve difficult problems. We suggest to improve the reasoning ability of pre-trained neural language models in a similar way, namely

thinking aloud neural language models dynamic problem elaboration deductive reasoning natural language inference

发现论文，激发创造

大规模生成常识问题解答阐释模型

在常识问题回答的情境下，我们使用更小的语言模型通过更新 elaboration generator 和 answer predictor 两种语言模型来相互影响，最终取得了比同样规模的其他模型更好的性能，且在四个常识问题回答基准测试中，差距越变越小。

Sep, 2022

具有上下文敏感声明性语法的扩展合成逻辑推理数据集

利用培训语言模型模仿定理证明器在过程生成的问题上进行逻辑推理仍然是自然语言处理的一个挑战。我们提出了一个更简单、更普遍的声明性框架，通过灵活的上下文敏感规则来绑定多种语言（特别是简化英语和 TPTP 定理证明语言），从而改进了逻辑推理的能力。我们使用语义约束在生成过程中，并对谓词进行仔细的英语表达，提高了逻辑推理能力，而不损害自然英语任务。我们使用相对较小的 DeBERTa-v3 模型在人类编写的逻辑数据集 FOLIO 上实现了最先进的准确性，在有或无外部求解器的情况下，精度超过了 GPT-4 12%。

Jun, 2024

通过新框架提升大型语言模型中的逻辑推理能力：思维图

利用 Graph of Thoughts (GoT) 和 prompting engineering 技术，我们的方法在解决多步骤逻辑推理问题方面超越了 GPT-4，分别获得了 89.7%、86% 和 56% 的准确率提升，并且相较于最先进的 Tree of Thought (ToT) 方法，我们的方法在准确率上平均提升了 23%、24% 和 15%。

Aug, 2023

大型语言模型中演化算法引导的零射链条思维推理

大语言模型通过应用无需预先训练的思维链式促进方法展示了卓越的表现，并展示了出色的推理能力。本文介绍了一种新的零样本促进方法，利用进化算法为大语言模型动态生成多样的促进方式，通过选择适合的促进方式提高模型的理解能力。详细实验结果表明，相较于当前的零样本推理方法，在 GPT-3.5-turbo 和 GPT-4 上，我们的方法表现出更优越的性能。此外，深入的分析实验突显了本方法在各种推理任务中的适应性和有效性。

Feb, 2024

基于 Transformer 的描述逻辑上下文推理

通过使用描述逻辑知识库构建一个合成的自然语言问答数据集，本研究评估了基于 transformer 的模型在推理能力、合成语境和知识库相关的问题上的表现，并展示了模型在训练过程中对不同推理深度的泛化能力。

Nov, 2023

自动发现的链式思维提示适用于新模型和数据集

通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

May, 2023

通过逻辑增强大型语言模型中的零射连续推理

利用逻辑链思维 (LogiCoT) 的神经符号框架，大规模语言模型提供了更强的零编码链式思维推理能力。实验证明了逻辑增强的推理范式在算术、常识、符号、因果推断和社会问题等多个领域的语言任务中的有效性。

Sep, 2023

通过提示提高大型语言模型的心理理论表现

本研究探讨在理解人的常识推理问题中，如何通过上下文学习和人类反馈和增强学习的方法来提高 LLMs（大型语言模型）的表现，结果表明适当的提示可以增强 LLMs ToM（心理理论）推理能力，这也强调了 LLMs 认知能力的依赖于上下文。

Apr, 2023

思维的提升：利用大型语言模型进行试错问题解决

通过迭代地探索和自我评估许多思维树以获得试错推理经验集，我们提出了一种用于 LLMs 问题解决的自动提示框架 BoT，它将作为一种新形式的提示来解决复杂的问题。实验证明，BoT 在解决复杂数学问题时，与其他先进的提示方法相比，可以达到更高或相当的问题解决率。

Feb, 2024

Plan-and-Solve Prompting: 通过大型语言模型改进零样本思维链推理

通过使用 “Let's think step by step” 等输入提示来生成排列步骤，Plan-and-Solve (PS) Prompting 解决了 Zero-shot-CoT 存在的缺失计算错误，缺失步骤错误和语义误解错误，是一种有效的零次提示策略，能够在数学推理问题上与 8-shot CoT 提示相媲美，并优于 Zero-shot-CoT 和 Zero-shot-Program-of-Thought 提示。

May, 2023