May, 2023

自我打磨：通过问题优化增强大型语言模型的推理能力

PDF
TL;DR该研究提出了一种名为 Self-Polish 的新方法，旨在通过引导模型逐步精炼给定的问题，以提高其问题解决能力，与其他提示方法正交，有效地提高了针对不同数据集的 Few-Shot 学习和 CoT 模型的表现。
chain-of-thoughtreasoning capabilitiesself-polishproblem-solvingprompting methods
发现论文，激发创造
  • 渐进提示提高大型语言模型推理能力

    本文提出了一种名为 “逐步提示” 的新提示方法，它利用先前生成的答案作为提示，逐步引导用户与 LLMs 之间的自动多次交互，从而进一步提高了性能。 该方法在 CoT 和自一致性之外，具有正交性，易于与最先进的技术相结合进行综合评估，并在六个基准测试中获得了最佳性能。

    Apr, 2023

  • 自主链式思维对于面向开放域多跳推理的大型语言模型

    在这篇文章中，我们提出了自主启发式链式思考 (SP-CoT) 自动化框架，用于大规模生成高质量的多跳推理数据集并通过上下文学习实现自主启发式推理，实验证明 SP-CoT 在大规模和小规模语言模型上的性能均显著优于前沿方法，并能在中间步骤中召回约 50% 的中间答案。

    Oct, 2023

  • 大型语言模型中的模式感知思维链激励

    链式思维提示可以引导语言模型进行复杂的多步推理。我们提出了一种考虑演示模式多样性的提示方法，通过在中间步骤中结合步长和推理过程等模式，有效地缓解由演示引起的偏差问题并实现对不同场景的更好泛化。我们在两个开源 LLM 模型上进行了九个推理基准任务的实验，结果表明我们的方法大大提高了推理性能，并且对错误表现出鲁棒性。代码将公开提供。

    Apr, 2024

  • 自洽性提高语言模型的思维连贯性推理能力

    本文提出了一种新的解码策略 self-consistency 来替代自我解释式激励中的贪心解码，从而在多种常识推理基准测试中提高其性能。

    Mar, 2022

  • 大型语言模型作为类比推理者

    通过模拟推理为大型语言模型自动生成相关样本或知识的新提示方法在各种推理任务中表现优于零示范的链式思考提示和人工少量示范的链式思考，包括 GSM8K 和 MATH 中的数学问题解决、Codeforces 中的代码生成和 BIG-Bench 中的其他推理任务。

    Oct, 2023

  • 链式思维推理的潜在技能发现

    最近的大型语言模型 (LLMs) 的前进使得思维链 (CoT) 提醒的紧急能力增加，它是一种在问题和答案之间添加中间的合理步骤来构造提示的合理推理策略。在这些提示的条件下，LLMs 可以有效地学习上下文以生成比直接回答相同问题更准确的答案所需的合理性。为了设计 LLM 提示，有一个重要的设置，称为演示选择，它考虑从示例库中选择演示。现有的方法使用各种启发式方法进行选择，但对于涉及独特合理性的 CoT 提示而言，基于 CoT 合理性所需的固有技能进行选择至关重要，例如数学问题的加减法技能。为了解决这个要求，我们介绍了一种称为 “推理技能发现”（RSD）的新方法，它使用无监督学习创建合理性的潜在空间表示，称为推理技能。同时，RSD 学习一个推理策略来确定给定问题所需的推理技能。这可以指导演示所需的推理技能的选择。我们的方法具有几个理想的特性：它在理论上是有依据的，它需要较少的样本，不需要 LLM 推断或手动提示设计，且与 LLM 无关。从经验上看，RSD 在多个推理任务中的答案准确性方面优于现有方法多达 6%。

    Dec, 2023

  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • 通过思维树增强跨语言多步推理

    本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

    Nov, 2023

  • 联邦提示和思维链推理以提高 LLMs 的回答能力

    通过使用自我一致性和思维链技术来改善云端大型语言模型中的分布式同义问题，可以显着提高所有用户查询的准确性。

    Apr, 2023

  • 走向理解思路链提示：对重要性的经验研究

    本论文研究了 Chain-of-Thought 提示对大型语言模型的多步推理能力的影响，发现即使使用无效的推理步骤，其提示也能达到 80-90% 的性能，并探究了其他理性方面的影响。

    Dec, 2022