Jul, 2023

SayPlan：利用 3D 场景图对大型语言模型进行基础，实现可扩展任务规划

PDF
TL;DRSayPlan 是一种可扩展的、基于 LLM 的、大规模任务规划方法，使用 3D 场景图表示，在多层和多房间环境中对机器人的任务进行规划，其方法包括利用 3DSG 的分层结构和引入经典路径规划算法来降低规划范围，并使用迭代重新规划以在图形模拟器中反馈使行动可行和避免规划失败的信息。我们在两个大规模环境上进行了评估，显示了我们的方法能够从抽象和自然语言指令中为移动机械手执行大规模、长范围任务计划。
发现论文，激发创造
  • 学习在场景图上推理：将 GPT-2 微调为机器人语言模型，用于基于场景的任务规划的案例研究

    本文研究了如何通过 GPT-2 等大型语言模型将人类请求转化为机器人可执行的计划，并探讨了 LLM 的长期任务规划的适用性和通用性，结果表明 LLM 可有效地执行长期任务规划，展示了神经符号规划方法在机器人领域的应用前景。

    May, 2023

  • 关于借助语言模型实现具体任务计划的研究

    本研究旨在探讨语言模型是否具有生成具体执行计划的能力，并针对该问题提出了一个新的问题解决方案: G-PlanET。通过将高级目标和特定环境中物体的数据表输入，我们设计了一种迭代解码策略，并使用新的度量标准 KAS 评估模型执行计划的质量，实验结果表明，将环境信息编码为表格，迭代解码策略可以显著提高语言模型的表现。

    Aug, 2022

  • 任务地理学：针对大型三维场景图的机器人任务规划评估

    该研究提出了基于 3D 场景图的大规模机器人任务规划基准，系统研究了符号计划的性能，并提出了任务条件下的 3DSG 稀疏化方法 SCRUB 和学习规划器的结构化剪枝方法 SEEK，以期在机器人任务规划，学习和 3DSGs 等领域推动进一步的研究。

    Jul, 2022

  • LLM-Planner: 借助大型语言模型进行少样本基于实例的具身 agent 规划

    本研究使用大型语言模型 (Large Language Models, LLMs) 作为规划师，以完成视觉感知环境中的复杂任务的具有身体接口的代理人。研究提出了 LLM-Planner 方法进行 few-shot planning，同时提出通过物理接口增强 LLMs 的简单而有效的方法，实验结果表明该方法在 ALFRED 数据集上能够取得与使用全数据训练的基线模型相当的性能。

    Dec, 2022

  • 利用大型语言和视觉模型通过程序生成的三维场景表示探索未知环境的机器人

    利用大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的能力，本研究提出了一个综合框架，模仿人类认知以实现对象目标导航问题的解决，通过关注、感知和存储任务特定信息，并生成相应计划。为了有效表示机器人周围的环境，提出使用语义丰富的 3D 场景模块化表示，并引入基于 LLM 的修剪策略以消除无关的目标特定信息。

    Mar, 2024

  • 基于符号规划和代码生成的实地对话

    使用大型语言模型与符号规划器和基于代码执行的系统组成的模块化可解释的对话系统，在处理任务导向对话中解决了大型语言模型难于引导到任务目标和处理新颖基础的问题，并在具有抽象散点图的协作参考解决任务中显著优于之前的最新技术，包括在最具挑战性的情境中将人工评估的任务成功率从 56% 提高到 69%。

    Oct, 2023

  • 异步计划推理中的图增强大语言模型

    异步计划推理对于优化时间成本需要进行顺序和并行规划，这是具有挑战性的。本研究首次对大型语言模型（LLMs）在此任务上的成功进行了大规模研究。我们发现，代表性的闭源和开源 LLMs，包括 GPT-4 和 LLaMA-2，在缺乏关于任务解决过程的说明时表现不佳。我们提出了一种新颖技术，称为 Plan Like a Graph (PLaG)，它将图形与自然语言提示相结合，取得了最先进的结果。我们表明，尽管 PLaG 可以提升模型性能，但在任务复杂性增加时，LLMs 仍然会遭受严重退化，凸显了利用 LLMs 模拟数字设备的局限性。我们认为这项研究是将 LLMs 用作高效自治代理的一个令人兴奋的步骤。

    Feb, 2024

  • SayNav: 动态规划中基于大型语言模型的导航

    基于大型语言模型的新方法 SayNav，通过建立探索环境的三维场景图，生成高级导航计划，并利用预训练的低级规划器逐步执行，动态生成导航过程中的指令并根据新感知信息不断改进步骤，有效在大规模新环境中定位多个不同物体。

    Sep, 2023

  • 开放式实地规划：挑战与基准构建

    提出了一个新的计划任务 —— 开放式基于实际情况的规划，通过建立一个横跨广泛领域的开放式基于实际情况的规划基准，测试了现有先进的大型语言模型和五种规划方法，并揭示了现有大型语言模型和方法在开放领域的基于实际情况的规划所面临的挑战，为开放式基于实际情况的规划定义和建立了一个基础数据集，并对基于大型语言模型的规划的潜在挑战和未来发展方向进行了探讨。

    Jun, 2024

  • LLM-Grounder：使用大型语言模型作为代理人进行开放词汇三维视觉对接

    LLM-Grounder 是一种零样本、开放词汇量的基于大型语言模型（LLM）的 3D 视觉定位流水线。通过将复杂自然语言查询拆解为语义元素，并利用可视化定位工具识别 3D 场景中的对象，LLM-Grounder 评估所提议对象之间的空间和常识关系，从而做出最终的定位决策。该方法不需要有标签的培训数据，可应用于新型 3D 场景和任意文本查询，显示出最先进的零样本定位准确性。研究结果表明，LLM 显著提高了定位能力，尤其对于复杂语言查询，在机器人的 3D 视觉语言任务中，LLM-Grounder 是一种有效的方法。

    Sep, 2023