在全面自主的机器人系统领域，本研究通过提出系统架构来解决复杂开放世界环境中任务与动作规划的挑战，核心是处理生成计划中的物理、逻辑和语义错误的重规划策略。通过在仿真和两个复杂的现实场景中进行实证评估，我们展示了所提出的反馈架构对可执行性、正确性和时间复杂性的有效性。

Oct, 2023

我们提出了一种新颖的多机器人协作方法，利用预训练的大型语言模型（LLMs）进行高层通信和低层路径规划，通过机器人之间的交流和集体推理任务策略，并生成子任务计划和任务空间路径，应用于多臂运动规划，以加速轨迹规划，并在环境中提供反馈，如碰撞检测，以促使 LLM 代理改进其计划和路径点。我们提出了 RoCoBench，一个包含六个任务的广泛多机器人协作场景的基准测试，伴随着一个纯文本数据集用于代理表示和推理。我们在实验证明了我们方法的有效性 - 它在 RoCoBench 的所有任务上都取得了高成功率，并且能够适应任务语义的变化。我们的对话设置提供了高度的可解释性和灵活性 - 在真实世界的实验中，我们展示了 RoCo 可以轻松地与人工智能交互，用户可以与机器人代理合作完成任务。请参考项目网站以观看视频和获取代码。

Jul, 2023

这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

Oct, 2020

利用语言指令识别机器人轨迹中的子任务，通过语言条件变点检测方法从长轨迹中找出与指令相对应的子轨迹片段，并通过实验证明了该方法在准确识别子任务方面的优越性。

Sep, 2023

本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

Sep, 2021

本文提出了一种基于 3D 场景图表示的联系图 +（CG +）的机器人规划方法，利用谓词属性增强这种联系图表示，进行任务规划，计算初始场景图和目标配置之间的图形编辑距离（GED）来初始化任务计划，最终通过实施约束来完成任务，并通过系列实验验证其潜力和可行性。

Jul, 2022

该研究通过大型语言模型（LLMs）探索了空间规划和自然语言界面与导航的交叉问题。我们关注的是遵循与传统机器人指令不同、更类似于自然对话的相对复杂的指令。与先前的大多数工作不同的是，我们研究了对话交互中的隐式指令。通过利用 3D 模拟器 AI2Thor 在规模上创建复杂且可重复的场景，并通过为 40 种对象类型增加复杂的语言查询来扩充它。我们证明了通过使用 LLM 将用户交互解释为场景中对象列表的上下文，机器人能够更好地解析描述性语言查询。

Jul, 2023

该论文介绍了一个名为 “语言世界” 的元世界基准的扩展，该基准允许使用大型语言模型在模拟机器人环境中使用半结构化自然语言查询和使用自然语言描述的脚本技能。通过使用与元世界相同的任务集，可以轻松将语言世界的结果与元世界的结果进行比较，从而比较使用大型语言模型和使用深度强化学习的最新方法之间的差异。其次，该论文介绍了一种名为 “Plan Conditioned Behavioral Cloning” 的方法，该方法允许使用端到端演示来优化高级计划的行为。使用语言世界，我们展示了 PCBC 能够在各种少样本情况下实现强大的性能，通常只需要一个演示即可实现任务的泛化。我们已经将语言世界作为开源软件提供，链接为 https://URL。

Oct, 2023

我们展示了使用 LLMs 解决机器人动作规划问题的实验结果。与其它方法不同，我们的方法通过自然语言推理获取任务和场景对象的文本描述，并输出坐标级控制命令，从而减少中间表示代码作为策略的必要性。我们的方法在多模态提示仿真基准上进行评估，证明了自然语言推理改善成功率的潜力，并展示了利用自然语言描述将机器人技能从已知任务转移到以前未见任务的可能性。

Mar, 2024

基于大型语言模型（LLMs）的研究表明，通过合适的动作空间重新参数化，包括遵守与交互力和刚度相关的约束条件，能够成功地生成用于接触丰富和高精度操纵任务的策略，即使在噪声条件下也有效。

Apr, 2024