May, 2024

大型语言模型的多阶段规划任务中的类人推理框架

PDF
TL;DR我们在此研究中专注于解决多阶段旅行计划问题，通过开发类似人类规划模式的规划框架来提高 LLM 代理的规划能力，实验结果表明我们的框架与 GPT-4-Turbo 结合能够在旅行计划任务中获得显著的性能提升。
llm agentstravel planningmulti-phases planningreasoning strategieshuman-like planning framework
发现论文，激发创造
  • LLM-Modulo 框架下的强健计划：旅行计划案例研究

    大语言模型在旅行规划领域有着显著的实际应用，通过 LLM 模块化框架的操作，对 LLMs 的推理能力进行改进，并在基线性能上取得了 4.6 倍的提升。

    May, 2024

  • 大型语言模型的规划能力 - 一项关键调查

    本文旨在研究 LLLms 在常识规划任务中的规划能力，通过在国际计划竞赛中生成一系列实例，并评估 LLMs 在自主规划和启发式两种不同模式下的表现，发现 LLMs 在自主规划方面的表现非常有限，但在启发式模式下，LLMs 生成的计划可以改善其它智能计划器的搜索过程并提供反馈以进一步验证计划质量。

    May, 2023

  • 关于大型语言模型的规划能力（一项带有提议基准的关键调查）

    研究了通用 Web 语料库上训练的语言模型的计划能力，开发了基于国际计划竞赛领域的基准套件，在自治、启发式和人机协作模式下对 LLM 进行了评估，发现自主生成可执行计划的能力非常有限，只有约 3% 的成功率。

    Feb, 2023

  • 大型语言模型利用形式验证工具进行严谨旅行规划

    提出了一种以大型语言模型为基础的交互规划框架，利用可满足性模理论和 SMT 求解器解决复杂组合优化问题，并在旅行规划领域取得高成功率。

    Apr, 2024

  • 大规模语言模型的前额叶皮质启发式规划结构

    通过人脑与 GPT-4 模块的互动，该研究提出了一个黑盒架构，利用认知神经科学的知识来改进 LLMs 的规划能力，从而在多步推理和目标导向规划等任务中取得了显著的改善。

    Sep, 2023

  • 对话式语言模型的推理即世界模型的规划

    本文介绍了基于 Monte Carlo 搜索算法的新型大语言模型推理框架 RAP，利用其上的世界模型进行计划生成和复杂推理。从多个任务测试中，RAP 在效率和准确率上都超过了 Chain-of-Thought 等现有方案。

    May, 2023

  • 思路规划：以启发式引导的大型语言模型问题解决方案

    在本研究中，我们使用基于规划的方法结合部分可观察马尔可夫决策过程（POMDPs）来解决多步骤的问题，并通过 POMCP 在线求解器在 24 点游戏任务上展现出了 89.4% 的优越成功率，同时也提供了比之前使用的固定树搜索更好的任意时间性能。

    Apr, 2024

  • 语言代理的元任务规划

    此研究论文介绍了 Meta-Task Planning (MTP)，一种用于协作式基于大型语言模型的多智能体系统的零样本方法，通过将复杂任务分解成次级任务或元任务来简化任务规划，进而将每个元任务映射为可执行动作。该方法在 TravelPlanner 和 API-Bank 两个基准测试中进行了评估，取得了出色的结果，显示了将 LLM 与多智能体系统整合的巨大潜力。

    May, 2024

  • 用计划标记引导语言模型推理

    最近大型语言模型（LLMs）因其执行复杂的推理任务的能力而引起了相当大的关注，但是大部分现有的增强这种能力的方法都过于依赖数据驱动的方法，而忽视了模型推理能力的结构方面。在我们的研究中，我们发现 LLMs 能够很好地处理个别的推理步骤，却在整个推理链上保持一致性方面遇到困难。为了解决这个问题，我们在每个推理步骤的开始引入了 “规划标记”，作为模型的指南。然后，这些标记嵌入与模型的其余参数一起进行微调。我们的方法所需的可训练参数增加微不足道（仅占总参数的 0.001%），可以通过完全微调或更加参数高效的方案来实施。我们通过将其应用于三种不同的 LLMs，并对三个数学问题数据集进行了评估，展示了我们方法的有效性，相对于原始的链式思维微调基准，取得了显著的准确性提升。

    Oct, 2023

  • 理解 LLM 智能体的规划：一项调查

    将大型语言模型作为自主代理的规划模块，通过提供现有作品的分类和全面分析，讨论了任务分解、计划选择和外部模块等方向在 LLM-Agent 规划中的进展和挑战。

    Feb, 2024