Oct, 2023

退后一步：通过抽象在大型语言模型中引发推理

PDF
TL;DR通过使用 Step-Back Prompting 技术，我们可以通过抽象化从具体细节中获得高级概念和基本原理，从而引导逻辑语言模型在解决问题时进行正确推理，从而显著提高其性能。在包括 STEM、知识问答和多跳推理在内的一系列挑战性推理密集型任务中，通过 Step-Back Prompting 提高了 PaLM-2L 模型的性能，例如物理和化学方面的性能提升了 7% 和 11%，时间问答性能提升了 27%，MuSiQue 性能提升了 7%。
step-back promptingllmsabstractionsreasoning pathperformance gains
发现论文，激发创造
  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • 元认知提示提高大型语言模型的理解能力

    通过使用元认知提示，通过系统性的结构化、自我意识评估，结合大量内在的知识和新的认识，可以提高大型语言模型的理解能力。实验结果表明，元认知提示始终优于现有的提示方法，并通过提高 GPT-4 的性能水平，增强了 GPT-4 在各种自然语言理解任务中的表现。

    Aug, 2023

  • 关于为主动大型语言模型提供反应提示的脆弱基础

    通过对输入提示的系统变化进行敏感性分析，我们发现 LLMs 的性能受到例示 - 查询相似度的影响，并且推理能力源于近似检索，而非内在推理能力。

    May, 2024

  • 迭代式提示预训练语言模型进行思维链构建

    本研究探索了一个迭代提示框架，用于让预训练语言模型具有多步推理能力，我们提出了一种基于上下文的迭代提示器，可以动态地合成提示，以捕捉不同推理步骤之间的变化。实验证明，该方法在多步推理方面具有很好的效果。

    Mar, 2022

  • 更多询问，更深了解：基于大语言模型的增强学习问句在决策制定中的应用

    利用领导者 - 追随者双层框架，本文实现了一个完全集成的端到端框架，用于处理复杂的推理任务，并通过引入历史发现为生成合适的问题（提示）提供指导，进而指导行动学习。

    Oct, 2023

  • MathPrompter：利用大型语言模型进行数学推理

    提出了一种名为 MathPrompter 的技术，它使用 Zero-shot chain-of-thought 提示技术生成多个代数表达式或 Python 函数，并以不同的方式解决相同的数学问题，从而提高模型在算术问题上的性能并提高置信水平。

    Mar, 2023

  • 残差连接促进大型语言模型中的多步推理

    通过在问题提示中集成残差连接，Residual Connection Prompting (RESPROMPT) 有效地捕捉了多步骤推理中固有的复杂推理图，为开源的 LLaMA 模型系列在数学、顺序和常识推理的六个基准测试上显著提高了推理准确性，并在至少需要五个推理步骤的问题中相比最好的基于 Chain-of-thought (CoT) 的基准测试提高了 21.1% 和 14.3%。

    Oct, 2023

  • 使用语言模型提示的推理：一项调查

    本研究提供关于以语言模型提示为基础的推理的前沿研究的综合调查，介绍与比较了相关研究工作，并提供系统化的资源以帮助初学者，同时讨论了产生此类推理能力的潜在原因和未来的研究方向。

    Dec, 2022

  • 合成提示：生成大型语言模型的思维链演示

    本文介绍了 Synthetic prompting 方法，该方法利用少量手工示例来提示模型自行生成更多示例，并选择有效的演示文稿以引出更好的推理。在数字、符号和算法推理任务上评估了该方法，并表明其优于现有提示技术。

    Feb, 2023

  • 第一步优势：多步推理中开始正确的重要性

    大型语言模型可以通过为其预测生成理由来解决复杂的推理任务。通过将这些功能融入到较小、紧凑的模型中，可以促进为特定任务量身定制的专门、经济高效的模型的创建。然而，较小的模型在复杂的推理任务中常常面临挑战，并且通常会偏离正确的推理路径。我们发现，只有在恰当的时机介入，大型语言模型才能指导较小的模型并将它们带回正确的推理路径。我们发现，较小的模型在推理方面主要因为难以启动过程而失败，引导它们朝正确的方向发展可以使性能提高 100% 以上。我们探索不同的模型大小并评估提供指导以改善较小模型推理能力的益处。

    Nov, 2023