Feb, 2023

合成提示：生成大型语言模型的思维链演示

PDF
TL;DR本文介绍了 Synthetic prompting 方法，该方法利用少量手工示例来提示模型自行生成更多示例，并选择有效的演示文稿以引出更好的推理。在数字、符号和算法推理任务上评估了该方法，并表明其优于现有提示技术。
large language modelssynthetic promptingreasoning tasksbackward processforward process
发现论文，激发创造
  • 链式思考引导大型语言模型推理

    通过 chain of thought prompting 方法，在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过 fine-tuned GPT-3。

    Jan, 2022

  • 大型语言模型的自动思维联想提示

    本论文提出一种基于链式推理的自动提问方法 Auto-CoT，通过采样具有多样性的问题并生成推理链来构建演示，在十项公共基准推理任务中，Auto-CoT 不断匹配或超越需要手动设计演示的 CoT 范例的性能。

    Oct, 2022

  • 对比的思维链路提示

    我们提出了对比思维链来增强语言模型推理，通过提供有效和无效的推理示范，引导模型逐步推理并减少推理错误。在推理基准测试中，对比思维链能够作为思维链提示的一种普遍增强。

    Nov, 2023

  • 大型语言模型作为类比推理者

    通过模拟推理为大型语言模型自动生成相关样本或知识的新提示方法在各种推理任务中表现优于零示范的链式思考提示和人工少量示范的链式思考，包括 GSM8K 和 MATH 中的数学问题解决、Codeforces 中的代码生成和 BIG-Bench 中的其他推理任务。

    Oct, 2023

  • 迭代式提示预训练语言模型进行思维链构建

    本研究探索了一个迭代提示框架，用于让预训练语言模型具有多步推理能力，我们提出了一种基于上下文的迭代提示器，可以动态地合成提示，以捕捉不同推理步骤之间的变化。实验证明，该方法在多步推理方面具有很好的效果。

    Mar, 2022

  • 大型语言模型中的模式感知思维链激励

    链式思维提示可以引导语言模型进行复杂的多步推理。我们提出了一种考虑演示模式多样性的提示方法，通过在中间步骤中结合步长和推理过程等模式，有效地缓解由演示引起的偏差问题并实现对不同场景的更好泛化。我们在两个开源 LLM 模型上进行了九个推理基准任务的实验，结果表明我们的方法大大提高了推理性能，并且对错误表现出鲁棒性。代码将公开提供。

    Apr, 2024

  • 大型语言模型的思路链主动提示

    本文提出了一种新的方法 Active-Prompt，通过任务特定的示例提示来适应 LLMs 的不同任务，通过从特定的查询池中选择最不确定的问题进行注释来确定哪些问题是最重要和有帮助的。经验结果表明了我们提出的方法的优越性，取得了八项复杂推理任务的最新成果。

    Feb, 2023

  • 最少指导下的逐步引导，使得大型语言模型能够进行复杂的推理

    本文提出了一种新的提示策略 least-to-most prompting，将复杂问题分解为多个子问题并顺序解决，可以解决比示范范例更难的例子，并在符号操作、组合泛化和数学推理方面表现出色。

    May, 2022

  • 大型语言模型中的假设检验提示改善了演绎推理

    本文介绍了使用不同形式的提示与预训练的大型语言模型相结合，在推理任务中取得了卓越的成果（如思路链提示）。然而，除了在更复杂的推理上进行测试外，这些方法还暴露出无效推理和虚构推理路径等问题。本文开发了一种名为 “假设测试提示” 的方法，在中间推理步骤中添加了结论假设、逆向推理和事实验证。假设测试提示涉及多个假设，并反向验证导致其独特正确答案的结论。在两个具有挑战性的演绎推理数据集 ProofWriter 和 RuleTaker 上的实验证明，假设测试提示不仅显著提高了效果，还生成了一个更合理和标准化的推理过程。

    May, 2024

  • 巨型语言模型的推理解释解释能力如何？

    大规模语言模型的性能可以通过 Prompt Engineering 和 Chain-of-Thought 等提高，本研究从多个方面全面评估了可解释性并引入了一种名为 Self-Entailment-Alignment Chain-of-thought 的简单方法，该方法在多个维度上改进了超过 70%。

    Feb, 2024