大型语言模型中的假设检验提示改善了演绎推理

May, 2024

大型语言模型中的假设检验提示改善了演绎推理

Hypothesis Testing Prompting Improves Deductive Reasoning in Large Language Models

Yitian Li, Jidong Tian, Hao He, Yaohui Jin

TL;DR本文介绍了使用不同形式的提示与预训练的大型语言模型相结合，在推理任务中取得了卓越的成果（如思路链提示）。然而，除了在更复杂的推理上进行测试外，这些方法还暴露出无效推理和虚构推理路径等问题。本文开发了一种名为 “假设测试提示” 的方法，在中间推理步骤中添加了结论假设、逆向推理和事实验证。假设测试提示涉及多个假设，并反向验证导致其独特正确答案的结论。在两个具有挑战性的演绎推理数据集 ProofWriter 和 RuleTaker 上的实验证明，假设测试提示不仅显著提高了效果，还生成了一个更合理和标准化的推理过程。

Abstract

Combining different forms of prompts with pre-trained large language models has yielded remarkable results on reasoning tasks (e.g. Chain-of-Thought prompting). However, along with testing on more complex reasoni

pre-trained large language models reasoning tasks hypothesis testing prompting deductive reasoning datasets standardized reasoning process

发现论文，激发创造

合成提示：生成大型语言模型的思维链演示

本文介绍了 Synthetic prompting 方法，该方法利用少量手工示例来提示模型自行生成更多示例，并选择有效的演示文稿以引出更好的推理。在数字、符号和算法推理任务上评估了该方法，并表明其优于现有提示技术。

Feb, 2023

链式思考引导大型语言模型推理

通过 chain of thought prompting 方法，在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过 fine-tuned GPT-3。

Jan, 2022

大型语言模型可以学习规则

使用大型语言模型（LLM）进行推理任务时，我们介绍了一种名为 Hypotheses-to-Theories（HtT）的框架，该框架学习了一个用于与 LLM 进行推理的规则库。通过实验，我们证明 HtT 能够显著提高现有的提示方法的准确性，并且所学习的规则也可迁移到不同的模型和相同问题的不同形式中。

Oct, 2023

使用语言模型提示的推理：一项调查

本研究提供关于以语言模型提示为基础的推理的前沿研究的综合调查，介绍与比较了相关研究工作，并提供系统化的资源以帮助初学者，同时讨论了产生此类推理能力的潜在原因和未来的研究方向。

Dec, 2022

现象异常而令人迷惑：用假设修正测试语言模型的归纳推理能力

使用迭代性的假设修正技术，通过三步骤的提议、选择和修正来研究语言模型在归纳推理任务中的能力，并发现其在产生假设和筛选规则方面表现出色，但在识别可信规则和应用提议规则方面存在差距，揭示了语言模型在归纳推理任务中的潜力和局限。

Oct, 2023

助产提示：具有递归解释的逻辑一致推理

本文提出了一种名为 Maieutic Prompting 的方法，使用基于树的解释模型从写作不准确的大型语言模型中恢复正确的答案，在三个具有挑战性的基准测试上表现出比最先进的提示方法高达 20％的准确性，并且作为完全无监督的方法，表现出和有监督模型相当的性能。

May, 2022

代码提示引发了文本 + 代码模型的条件推理能力

通过将自然语言问题转化为代码并用生成的代码提示进行训练，作者发现代码提示在需要条件推理的多个数据集上提高了 2.6 到 7.7 个 GPT 3.5 的绩效，并且观察到代码提示需要包含自然语言文本和高质量代码，以及其触发更优的变量或关键实例的状态跟踪。

Jan, 2024

渐进提示提高大型语言模型推理能力

本文提出了一种名为 “逐步提示” 的新提示方法，它利用先前生成的答案作为提示，逐步引导用户与 LLMs 之间的自动多次交互，从而进一步提高了性能。该方法在 CoT 和自一致性之外，具有正交性，易于与最先进的技术相结合进行综合评估，并在六个基准测试中获得了最佳性能。

Apr, 2023

大型语言模型作为类比推理者

通过模拟推理为大型语言模型自动生成相关样本或知识的新提示方法在各种推理任务中表现优于零示范的链式思考提示和人工少量示范的链式思考，包括 GSM8K 和 MATH 中的数学问题解决、Codeforces 中的代码生成和 BIG-Bench 中的其他推理任务。

Oct, 2023

假设搜索：利用语言模型进行归纳推理

通过产生多个抽象假设并将其转化为具体的 Python 程序，进而为大型语言模型提高归纳推理能力，并利用自动生成的摘要或人工筛选的候选集来过滤生成的程序，从而在归纳推理任务中实现更高的准确性。

Sep, 2023