Jul, 2024
大型语言模型的推理：一项综述
Reasoning with Large Language Models, a Survey
TL;DR扩大语言模型的参数规模到数十亿个参数开辟了上下文学习的可能性，允许对模型进行指导调整和少样本学习，从而在模型未经过专门训练的任务上取得了突破性的语言任务性能，如翻译、摘要和问答。本文回顾了基于提示的推理领域的迅速发展。我们的分类法识别出生成、评估和控制多步推理的不同方法。我们对核心方法和开放问题进行了深入研究，并提出了近期的研究议程。最后，我们强调了推理和基于提示学习之间的关系，并讨论了推理、顺序决策过程和强化学习之间的关系。我们发现通过合理使用提示可以实现自我改进、自我反思和推理过程的一些元认知能力。从使用LLMs进行推理到LLMs进行推理的真正自我改进和自我推理仍然是未来的工作。