Feb, 2024

深思熟虑：问题拓展引导提升大型语言模型的数学推理能力

PDF
TL;DR使用 Problem Elaboration Prompting（PEP）改善大型语言模型（LLMs）的数学能力，在复杂推理和问题背景理解方面取得了有希望的表现。
large language modelsreasoning tasksproblem contextpepcomplex reasoning
发现论文，激发创造
  • 提示工程师的提示工程

    通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

    Nov, 2023

  • 提示求解之前的线索引导：指导 LLMs 有效利用编码知识

    通过引入 Hint-before-Solving Prompting (HSP) 方法，将高质量提示应用于大型语言模型的解题过程，有效地提高了推理任务的准确性，并建立了 HSPMATH 数据集，提高了解题准确性。

    Feb, 2024

  • MathPrompter：利用大型语言模型进行数学推理

    提出了一种名为 MathPrompter 的技术，它使用 Zero-shot chain-of-thought 提示技术生成多个代数表达式或 Python 函数，并以不同的方式解决相同的数学问题，从而提高模型在算术问题上的性能并提高置信水平。

    Mar, 2023

  • 在 GSM8K 上达到超过 97%：深入理解问题使 LLMs 成为完美的推理者

    我们提出了一种名为深度理解问题（DUP）提示的新型提示策略，用于增强 LLMs 对问题的全面理解。实验结果表明，DUP 提示在各个数据集上明显优于零 - shot CoT，并在 SVAMP（90.4% 至 94.2%）和 GSM8K（94.6% 至 97.1%）方面取得了最新的成果。

    Apr, 2024

  • 渐进提示提高大型语言模型推理能力

    本文提出了一种名为 “逐步提示” 的新提示方法，它利用先前生成的答案作为提示，逐步引导用户与 LLMs 之间的自动多次交互，从而进一步提高了性能。 该方法在 CoT 和自一致性之外，具有正交性，易于与最先进的技术相结合进行综合评估，并在六个基准测试中获得了最佳性能。

    Apr, 2023

  • 大型语言模型是对比推理者

    对比提示（CP）显著提高了大语言模型在复杂推理方面的能力。零 - shot 对比提示在算术、常识和符号推理任务上提升了性能，无需手动设计少数训练示例，与当前最先进的 GPT-4 模型相比，在 GSM8K 的准确率从 35.9% 提升至 88.8%，在 AQUA-RAT 的准确率从 41.3% 提升至 62.2%。该方法不仅在大多数算术和常识推理任务上超过了零 - shot CoT 和少数 - shot CoT，还能与现有的提示方法无缝集成，得到改进或相当的结果。

    Mar, 2024

  • 半结构化数学推理的策略梯度动态提示学习

    本研究介绍了一个新的数据集 TabMWP，其中包含需要在文本和表格数据上进行数学推理的问题，以及新的方法 PromptPG，使用策略梯度从少量训练数据中选择上下文示例并构造相应的提示，以优化大型语言模型在此类复杂数学推理问题上的表现。该方法提高了 5.31％的准确性，并显着减少了预测差异，验证了其在选择上下文示例方面的有效性。

    Sep, 2022

  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • Few-shot 提示在文本推理中解释的不可靠性

    本文研究了将 GPT-3 等大型语言模型与说明相结合是否能够提高上下文学习效果，发现对于涉及文本推理的自然语言推理和问答任务，使用不同样式的说明对 OPT、GPT-3（davinci）和 InstructGPT（text-davinci-001）等四个 LLM 的性能仅会带来小至中等的准确性提高，而 text-davinci-002 能够带来更实质性的提高，并且 LLM 产生的说明可能不支持、甚至与模型预测不一致，但这些说明仍有助于验证模型的预测，在此观察基础上，文章通过训练校准器使用自动提取的评分评估说明的可靠性，从而在全部数据集上实现后处理性能的提高。

    May, 2022

  • Plan-and-Solve Prompting: 通过大型语言模型改进零样本思维链推理

    通过使用 “Let's think step by step” 等输入提示来生成排列步骤，Plan-and-Solve (PS) Prompting 解决了 Zero-shot-CoT 存在的缺失计算错误，缺失步骤错误和语义误解错误，是一种有效的零次提示策略，能够在数学推理问题上与 8-shot CoT 提示相媲美，并优于 Zero-shot-CoT 和 Zero-shot-Program-of-Thought 提示。

    May, 2023