基于大型语言模型的全局控制策略结合了语言输入的解释和处理能力，为多样化和复杂的机器人操作丰富了控制机制。

Jun, 2024

我们展示了使用 LLMs 解决机器人动作规划问题的实验结果。与其它方法不同，我们的方法通过自然语言推理获取任务和场景对象的文本描述，并输出坐标级控制命令，从而减少中间表示代码作为策略的必要性。我们的方法在多模态提示仿真基准上进行评估，证明了自然语言推理改善成功率的潜力，并展示了利用自然语言描述将机器人技能从已知任务转移到以前未见任务的可能性。

Mar, 2024

该研究论文介绍了如何将大型语言模型用于编写机器人策略代码，并达成具有几何空间推理能力、可自主创新、精确且具备行为常识的策略，同时提供了对多个真实机器人平台进行演示和基准测试的代码和视频。

Sep, 2022

通过使用编程式的提示结构，可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成，从而大大减少了任务规划中需要定义的领域知识。

Sep, 2022

我们提出了一种基于大型语言模型的新方法，通过任务框架形式主义来将操纵器的原始任务转化为机器人低层动作，实现混合控制。我们评估了几种最先进的大型语言模型。

Aug, 2023

通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用 fine-tuning 方法，在保留 MLLM 的常识和推理能力的同时，为其提供操作能力。实验结果表明 ManipLLM 在模拟器和真实环境中均有出色表现。

Dec, 2023

该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

Aug, 2023

通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

Jun, 2024

本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法，该方法可以扩展最近开发的策略搜索方法，并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹，然后将这些轨迹统一到一个单一的控制策略中。

Jan, 2015

大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

Oct, 2023