Dec, 2020

使用几何和符号场景图进行长时程操作的分层规划

PDF
TL;DR我们提出了一种基于视觉的分层规划算法，利用神经符号任务规划和基于低级运动产生的联合框架，以指定目标为条件。该算法使用两级场景图形式来表示操作场景，即几何场景图和符号场景图，并使用图形神经网络来为高层任务规划和低层动作生成处理这些场景图。我们在物理模拟和现实世界中的厨房储物任务中验证了我们的方法，并证明我们的方法比标准的搜索任务和运动规划器运行速度高四个数量级。
visually grounded algorithmneuro-symbolic task planninghierarchical scene graphgraph neural networkmanipulation tasks
发现论文，激发创造
  • 组合式层次规划的基础模型

    通过在空间和时间尺度上进行分层推理，我们提出使用多个专家基础模型联合解决长期目标任务的分层规划模型，通过语言、视觉和动作数据的训练，构建符号化的计划，并通过视觉 - 动作控制将计划转化为执行动作，以实现在新环境中做出有效决策。

    Sep, 2023

  • 层次化先见之明：通过视觉子目标生成进行长时程任务的自监督学习

    通过子目标生成和规划的分层视觉预见（HVF）框架，可以将任务分解成易于规划的片段，并自然地识别语义上有意义的状态作为子目标，在三个模拟的基于视觉的操作任务中，我们的方法实现了近 200% 的性能提升。

    Sep, 2019

  • 基于超图的多机器人任务和运动规划

    该研究提出一种基于超图的多机器人任务和动作规划方法，将规划空间分解为互相独立的空间子集，使得规划时间相对于已有方法加速了三个数量级，并且展现了该方法在其他多机器人任务和动作规划问题上的有效性。

    Oct, 2022

  • 动态环境下人机多智能体系统的最佳任务与动作规划及执行

    本文提出了一种联合任务和运动规划方法来优化任务的排序、分配和执行，解决多智能体系统中的时空变异性问题，采用时间轴规划处理任务的时间约束、时间变化和协同分配，在网络平面规划中以环境变化为前提，证明了该方法的有效性。

    Mar, 2023

  • 任务地理学：针对大型三维场景图的机器人任务规划评估

    该研究提出了基于 3D 场景图的大规模机器人任务规划基准，系统研究了符号计划的性能，并提出了任务条件下的 3DSG 稀疏化方法 SCRUB 和学习规划器的结构化剪枝方法 SEEK，以期在机器人任务规划，学习和 3DSGs 等领域推动进一步的研究。

    Jul, 2022

  • SayPlan：利用 3D 场景图对大型语言模型进行基础，实现可扩展任务规划

    SayPlan 是一种可扩展的、基于 LLM 的、大规模任务规划方法，使用 3D 场景图表示，在多层和多房间环境中对机器人的任务进行规划，其方法包括利用 3DSG 的分层结构和引入经典路径规划算法来降低规划范围，并使用迭代重新规划以在图形模拟器中反馈使行动可行和避免规划失败的信息。我们在两个大规模环境上进行了评估，显示了我们的方法能够从抽象和自然语言指令中为移动机械手执行大规模、长范围任务计划。

    Jul, 2023

  • 场景图上的顺序操纵规划

    本文提出了一种基于 3D 场景图表示的联系图 +（CG +）的机器人规划方法，利用谓词属性增强这种联系图表示，进行任务规划，计算初始场景图和目标配置之间的图形编辑距离（GED）来初始化任务计划，最终通过实施约束来完成任务，并通过系列实验验证其潜力和可行性。

    Jul, 2022

  • 稀疏图形记忆用于鲁棒规划

    该论文介绍了 Sparse Graphical Memory (SGM) 的新数据结构，与深度学习和经典规划相结合，以实现用于长时间范围下稀疏奖励视觉导航任务的可扩展性表现优于当前领先的方法。

    Mar, 2020

  • 学习用于符号规划的通用类型动作

    提出了一种通过给定的实体层次结构和观察到的相似行为来泛化符号动作的新概念，证明在虚拟的网格化厨房环境中可以从少量观察中学习到类型泛化的动作，并且在规划过程中引入了一种即时泛化机制，能够解决包括更长序列、新实体和未预期环境行为的未见任务组合。

    Aug, 2023

  • 学习在场景图上推理：将 GPT-2 微调为机器人语言模型，用于基于场景的任务规划的案例研究

    本文研究了如何通过 GPT-2 等大型语言模型将人类请求转化为机器人可执行的计划，并探讨了 LLM 的长期任务规划的适用性和通用性，结果表明 LLM 可有效地执行长期任务规划，展示了神经符号规划方法在机器人领域的应用前景。

    May, 2023