Aug, 2024

我们能依赖大型语言模型代理生成长远规划吗？以旅行规划者为例

HTML
PDF
TL;DR本研究填补了关于基于大型语言模型（LLM）代理在复杂现实规划任务中行为的知识空白。通过使用TravelPlanner基准，探讨了LLM代理在处理长文本和多重约束时的鲁棒性以及改进策略。研究发现，LLM在长规划分析中存在局限，但提出的反馈感知微调方法显著提高了性能，具有重要的应用潜力。
发现论文，激发创造
  • 关于大型语言模型的规划能力（一项带有提议基准的关键调查）

    研究了通用Web语料库上训练的语言模型的计划能力，开发了基于国际计划竞赛领域的基准套件，在自治、启发式和人机协作模式下对LLM进行了评估，发现自主生成可执行计划的能力非常有限，只有约3%的成功率。

    Feb, 2023

  • LLM+P：利用最优规划提升大型语言模型的性能

    本文介绍了LLM + P框架，将经典计划器的优点结合到大语言模型中，可以通过自然语言描述解决计划问题，经过实验发现LLM + P可以提供大多数问题的最优解，而LLMs则无法为大多数问题提供甚至可行的计划。

    Apr, 2023

  • 大型语言模型的规划能力 - 一项关键调查

    本文旨在研究LLLms在常识规划任务中的规划能力，通过在国际计划竞赛中生成一系列实例，并评估LLMs在自主规划和启发式两种不同模式下的表现，发现LLMs在自主规划方面的表现非常有限，但在启发式模式下，LLMs生成的计划可以改善其它智能计划器的搜索过程并提供反馈以进一步验证计划质量。

    May, 2023

  • AdaPlanner：使用语言模型的自适应反馈规划

    本文提出了 AdaPlanner，一种基于闭环反馈的语言模型智能体自适应地改进生成的计划，并通过新的技能发现机制，使其能够在更复杂的任务和环境中实现更好的连续决策性能，实验结果表明 AdaPlanner 在 ALFWorld 和 MiniWoB++ 环境中优于现有的基线算法。

    May, 2023

  • 旅行规划：一项针对与语言代理实际商用计划的基准测试

    语言代理的规划能力在复杂环境下仍然面临挑战，但旅行规划问题提供了一个有意义又具有挑战性的测试平台。

    Feb, 2024

  • LLMs无法策划，但可以在LLM-Modulo框架中帮助策划

    大语言模型在规划和推理任务中的作用有很多混淆。我们认为，自回归LLM本身无法进行规划或自验证，并指出了文献中常见误解的原因。我们提出了LLM-模块化框架的愿景，将LLM的优势与外部基于模型的验证器在更紧密的双向交互方式中结合起来。我们将展示如何利用LLM获得驱动外部验证器的模型。我们还将论述LLM-模块化框架提供了更好的神经符号方法，通过更灵活的知识、问题和偏好规范，扩展了基于模型的规划/推理范围。

    Feb, 2024

  • 理解LLM智能体的规划：一项调查

    将大型语言模型作为自主代理的规划模块，通过提供现有作品的分类和全面分析，讨论了任务分解、计划选择和外部模块等方向在LLM-Agent规划中的进展和挑战。

    Feb, 2024

  • 评估和开发面向 LLMs 的规划感知技术

    基于最近的研究，我们通过实验表明，大语言模型（LLMs)缺乏规划所需的必要技能。基于这些观察，我们提倡将LLMs与经典规划方法相结合的混合方法的潜力。然后，我们引入了一种新颖的混合方法SimPlan，并在一个新的具有挑战性的环境中评估其性能。我们在各种规划领域进行了大量实验，结果表明SimPlan明显优于现有的基于LLMs的规划器。

    Feb, 2024

  • 通过合成用户输入测试和理解LLM代理的错误规划

    通过自动化测试和理解大型语言模型 (LLMs) 的错误规划，我们提出了一种名为 PDoctor 的新方法，将错误规划的检测建模为一个约束可满足性问题。通过定义领域特定语言 (DSL) 和合成各种输入，PDoctor 可以有效地检测代理规划中的多种错误，并为开发人员和用户提供有价值的洞察和错误特征。

    Apr, 2024

  • 大型语言模型的多阶段规划任务中的类人推理框架

    我们在此研究中专注于解决多阶段旅行计划问题，通过开发类似人类规划模式的规划框架来提高LLM代理的规划能力，实验结果表明我们的框架与GPT-4-Turbo结合能够在旅行计划任务中获得显著的性能提升。

    May, 2024