Apr, 2024

在 GSM8K 上达到超过 97%：深入理解问题使 LLMs 成为完美的推理者

PDF
TL;DR我们提出了一种名为深度理解问题（DUP）提示的新型提示策略，用于增强 LLMs 对问题的全面理解。实验结果表明，DUP 提示在各个数据集上明显优于零 - shot CoT，并在 SVAMP（90.4% 至 94.2%）和 GSM8K（94.6% 至 97.1%）方面取得了最新的成果。
chain of thought prompting strategylarge language models (llms)deeply understanding the problems (dup) promptingreasoning tasksstate-of-the-art performance
发现论文，激发创造
  • 大型语言模型是对比推理者

    对比提示（CP）显著提高了大语言模型在复杂推理方面的能力。零 - shot 对比提示在算术、常识和符号推理任务上提升了性能，无需手动设计少数训练示例，与当前最先进的 GPT-4 模型相比，在 GSM8K 的准确率从 35.9% 提升至 88.8%，在 AQUA-RAT 的准确率从 41.3% 提升至 62.2%。该方法不仅在大多数算术和常识推理任务上超过了零 - shot CoT 和少数 - shot CoT，还能与现有的提示方法无缝集成，得到改进或相当的结果。

    Mar, 2024

  • 扰动证据下的推断：探测大型语言模型的学生模拟能力

    本文探讨了大型语言模型（Large Language Models）能否在扭曲事实的情况下进行逻辑推理，即称为扭曲证据下的演绎（Deduction under Perturbed Evidence，DUPE）。通过在 StrategyQA 数据集中进行实验，发现即使是最先进的 GPT 模型在扭曲事实的情况下也难以进行推理，准确率下降了 45％，研究结果对理解大型语言模型在实际应用中的表现具有实际意义。

    May, 2023

  • 更多询问，更深了解：基于大语言模型的增强学习问句在决策制定中的应用

    利用领导者 - 追随者双层框架，本文实现了一个完全集成的端到端框架，用于处理复杂的推理任务，并通过引入历史发现为生成合适的问题（提示）提供指导，进而指导行动学习。

    Oct, 2023

  • 深思熟虑：问题拓展引导提升大型语言模型的数学推理能力

    使用 Problem Elaboration Prompting（PEP）改善大型语言模型（LLMs）的数学能力，在复杂推理和问题背景理解方面取得了有希望的表现。

    Feb, 2024

  • 提示求解之前的线索引导：指导 LLMs 有效利用编码知识

    通过引入 Hint-before-Solving Prompting (HSP) 方法，将高质量提示应用于大型语言模型的解题过程，有效地提高了推理任务的准确性，并建立了 HSPMATH 数据集，提高了解题准确性。

    Feb, 2024

  • 用分治程序引导大型语言模型进行问题解决

    建议使用分治程序来引导大型语言模型（LLM），以解决存在中间错误和欺骗内容的任务，可以提供更好的性能。

    Feb, 2024

  • 元认知提示提高大型语言模型的理解能力

    通过使用元认知提示，通过系统性的结构化、自我意识评估，结合大量内在的知识和新的认识，可以提高大型语言模型的理解能力。实验结果表明，元认知提示始终优于现有的提示方法，并通过提高 GPT-4 的性能水平，增强了 GPT-4 在各种自然语言理解任务中的表现。

    Aug, 2023

  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • 联邦提示和思维链推理以提高 LLMs 的回答能力

    通过使用自我一致性和思维链技术来改善云端大型语言模型中的分布式同义问题，可以显着提高所有用户查询的准确性。

    Apr, 2023

  • 走向理解思路链提示：对重要性的经验研究

    本论文研究了 Chain-of-Thought 提示对大型语言模型的多步推理能力的影响，发现即使使用无效的推理步骤，其提示也能达到 80-90% 的性能，并探究了其他理性方面的影响。

    Dec, 2022