Mar, 2024

LLM^3：基于大型语言模型的任务与动作规划及运动失败推理

PDF
TL;DRLLM^3 是一种基于大型语言模型（LLM）的全新的任务和运动规划（TAMP）框架，具有领域无关的接口，利用预训练的 LLM 的强大推理和规划能力来提出符号动作序列并选择运动规划的连续动作参数，并通过提示将运动规划反馈到 LLM 中，从而通过对运动失败进行推理来不断改进提案，解决 TAMP 问题，选择行动参数的有效性得到定量证明，并在实际应用中对物理机械臂进行定性实验。
task and motion planningllm^3symbolic action sequencesmotion planningmotion failure reasoning
发现论文，激发创造
  • AutoTAMP: 基于 LLMs 的自回归任务和运动规划

    该研究提出了一种基于大型语言模型和任务运动规划的方法，以实现机器人对自然语言任务描述的理解和执行。该方法可以检测并纠正语法和语义错误，并在复杂任务领域中优于使用大型语言模型作为规划器的其他方法。

    Jun, 2023

  • 大型语言模型仍无法规划 (面向规划和变化推理的 LLM 基准测试)

    该研究提出了一种可扩展的评估框架来测试 LLMs 在行动和变化推理方面的能力，从而证明现有的推理基准测试是简单化的，无法支持关于 LLMs 推理能力的夸张的说法，并展示了 GPT-3、Instruct-GPT3 和 BLOOM 对这些任务的表现不佳。

    Jun, 2022

  • LLM-Modulo 框架下的强健计划：旅行计划案例研究

    大语言模型在旅行规划领域有着显著的实际应用，通过 LLM 模块化框架的操作，对 LLMs 的推理能力进行改进，并在基线性能上取得了 4.6 倍的提升。

    May, 2024

  • MotionLLM: 多模式运动语言学习与大型语言模型

    通过使用预训练的 LLM 模型进行微调，本研究提出了 MotionLLM，一个简单且通用的框架，可实现单人和多人运动生成以及动作字幕生成。

    May, 2024

  • 基于 LLM 的人机协作框架用于操作任务

    该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

    Aug, 2023

  • 大型语言模型的多阶段规划任务中的类人推理框架

    我们在此研究中专注于解决多阶段旅行计划问题，通过开发类似人类规划模式的规划框架来提高 LLM 代理的规划能力，实验结果表明我们的框架与 GPT-4-Turbo 结合能够在旅行计划任务中获得显著的性能提升。

    May, 2024

  • LLM 动态规划

    大型语言模型与符号规划器结合的神经符号框架，为解决涉及体验代理的复杂计划任务提供更快速和高效的解决方案。

    Aug, 2023

  • 使用物体为中心的动作约束的统一任务和运动规划

    任务和动作规划方法中的抽象描述模糊和欠定性使得很难确定成功执行任务所需的物理约束。我们提出了一种替代的任务和动作规划方法，将任务和动作规划融合为一个启发式搜索，并基于基于物体的抽象的运动约束，从而利用现成的人工智能启发式搜索的计算效率，产生具有物理可行性的计划，无需进行密集的子符号几何推理。

    Dec, 2023

  • 基于优化的任务和动作规划综述：从经典到学习方法

    任务和运动规划（TAMP）综述了基于优化的 TAMP 的规划领域表示、解决方法以及逻辑规划和模型优化之间的相互作用等内容，并强调高效解决 TAMP 的算法结构，包括分层和分布式方法，并突出了经典方法与当代大语言模型等学习创新之间的协同性，并讨论了 TAMP 的未来研究方向和应用挑战。

    Apr, 2024

  • LLMs 无法策划，但可以在 LLM-Modulo 框架中帮助策划

    大语言模型在规划和推理任务中的作用有很多混淆。我们认为，自回归 LLM 本身无法进行规划或自验证，并指出了文献中常见误解的原因。我们提出了 LLM - 模块化框架的愿景，将 LLM 的优势与外部基于模型的验证器在更紧密的双向交互方式中结合起来。我们将展示如何利用 LLM 获得驱动外部验证器的模型。我们还将论述 LLM - 模块化框架提供了更好的神经符号方法，通过更灵活的知识、问题和偏好规范，扩展了基于模型的规划 / 推理范围。

    Feb, 2024