Jul, 2024

问题分析提示提高推理任务中的 LLM 性能

TL;DR尽管 LLMs 在许多领域具有潜力,但在推理任务上仍不如人类表现出色。本研究探讨了一个问题:让 LLM 分析问题是否能提高其性能?我们提出了一种新颖的提示策略,称为问题分析提示 (QAP),模型在解决问题之前被提示用 $n$ 个词解释问题。值 $n$ 影响模型生成的回答长度。在算术数据集 GSM8K、AQuA、SAT 和常识数据集 StrategyQA 上评估了 QAP 在 GPT 3.5 Turbo 和 GPT 4 Turbo 上的表现。QAP 与其他领先的提示方法,包括思维链提示 (CoT)、计划与解决提示 (PS+) 和深呼吸提示 (TADB) 进行了比较。在 AQuA 和 SAT 数据集上,QAP 在 GPT 3.5 和 GPT 4 上的表现超过了所有的领先提示方法。在 75% 的测试中,QAP 始终排名前 2 位。QAP 表现的一个关键因素是回答长度,详细的回答对回答更难的问题有益,但可能对简单问题产生负面影响。