最少指导下的逐步引导,使得大型语言模型能够进行复杂的推理
通过 chain of thought prompting 方法,在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能,甚至超过 fine-tuned GPT-3。
Jan, 2022
本文介绍了 Synthetic prompting 方法,该方法利用少量手工示例来提示模型自行生成更多示例,并选择有效的演示文稿以引出更好的推理。在数字、符号和算法推理任务上评估了该方法,并表明其优于现有提示技术。
Feb, 2023
本研究提出了一种叫做 code prompting 的新型神经符号提示方法,通过触发代码作为中间步骤,以实现符号和算术推理任务一直面对的语言及理解难题。经过对七项广泛使用的基准测试进行实验验证,研究者发现 Code Prompting 方法通常优于 Chain-of-Thought(CoT)Prompting。他们还考虑了代码提示和 CoT 提示的融合来结合两者的优点。最后,通过实验证明,代码注释及其位置如何影响代码提示。
May, 2023
通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成,我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。
May, 2023
提出了分解提示法(Decomposed Prompting)的方法,通过将复杂任务分解成简单的子任务来解决复杂任务,并且可以针对每个子任务优化其专用提示,进一步分解复杂任务并取得更好的性能,特别是在符号推理任务和多步推理任务中。
Oct, 2022
通过使用 “Let's think step by step” 等输入提示来生成排列步骤,Plan-and-Solve (PS) Prompting 解决了 Zero-shot-CoT 存在的缺失计算错误,缺失步骤错误和语义误解错误,是一种有效的零次提示策略,能够在数学推理问题上与 8-shot CoT 提示相媲美,并优于 Zero-shot-CoT 和 Zero-shot-Program-of-Thought 提示。
May, 2023
本文提出了一种名为 “逐步提示” 的新提示方法,它利用先前生成的答案作为提示,逐步引导用户与 LLMs 之间的自动多次交互,从而进一步提高了性能。 该方法在 CoT 和自一致性之外,具有正交性,易于与最先进的技术相结合进行综合评估,并在六个基准测试中获得了最佳性能。
Apr, 2023
本文研究如何通过链式思维提示增强 LLM 的文本到 SQL 解析的推理能力,实验结果表明,通过避免错误传播的详细信息,新方法在 Spider 开发集上的表现比现有方法提高了 2.4 个绝对值。
May, 2023
本研究探索了一个迭代提示框架,用于让预训练语言模型具有多步推理能力,我们提出了一种基于上下文的迭代提示器,可以动态地合成提示,以捕捉不同推理步骤之间的变化。实验证明,该方法在多步推理方面具有很好的效果。
Mar, 2022
本论文提出一种基于链式推理的自动提问方法 Auto-CoT,通过采样具有多样性的问题并生成推理链来构建演示,在十项公共基准推理任务中,Auto-CoT 不断匹配或超越需要手动设计演示的 CoT 范例的性能。
Oct, 2022