本文提出了一种新颖的方法，即通过利用大型语言模型(LLMs)定义奖励参数，从而优化和实现各种机器人任务，并结合实时优化器MuJoCo MPC，使用户可以交互地创造行为并快速获得结果反馈。作者在一个模拟仿真机器人四足动物和一种机械手进行了17个任务的评价，证明了这种方法成功解决了90%的任务，并在真实机器人手臂上验证了方法的有效性，包括非握持推动等复杂操作技能。

Jun, 2023

通过提出交互式机器人行动规划方法，利用大型语言模型（LLM）进行分析并向人类提问以获取缺失信息，以减少生成精确机器人指令的设计成本，并通过烹饪任务的具体示例证明了方法的有效性，同时揭示了对LLM的机器人行动规划的挑战，如提问与问题相关性不高以及未经询问而假设关键信息，为将LLM应用于机器人学方面的未来研究提供了有价值的见解。

Aug, 2023

大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设LLMs在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在26个真实世界的基于语言的任务上的表现，比如“打开瓶盖”和“用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了LLMs在机器人领域的假设限制，首次揭示了LLMs确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

Oct, 2023

理解和评估机器人的灵活智能是一项复杂的任务，该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献，以及它们面临的潜在挑战。

Nov, 2023

研究聚焦于大型语言模型如何以人机交互的方式帮助移动体代理（如机器人）的路径规划。提出了名为LLM A*的创新框架，旨在利用LLM的常识，采用效用最优的A*算法来实现少样本近最优路径规划。通过引导LLM以求解`白盒'的路径规划过程，并将人类反馈作为引导，相较于基于强化学习的规划方法，如RL，使得无需编码的路径规划变得实用，并且推广了人工智能技术的包容性。与A*和RL的对比分析表明，LLM A*在搜索空间方面更高效，能达到与A*相当的路径并优于RL。LLM A*的交互性还使其成为协作人机任务部署中具有潜力的工具。

Dec, 2023

使用大型语言模型（LLMs）的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。

Dec, 2023

该研究全面概述了大型语言模型（LLMs）和多模态LLMs在各种机器人任务中的整合，并提出了一种利用多模态GPT-4V结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明GPT-4V有效地提升了机器人在具身任务中的表现。对LLMs和多模态LLMs在各种机器人任务中的广泛调查和评估丰富了对以LLMs为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

Jan, 2024

通过构建COmmand-STeps（COST）数据集，我们比较了GPT3.5和GPT4与finetuned GPT2在桌面和厨房环境中的任务规划表现，结果表明GPT2-medium在特定领域的任务规划上与GPT3.5相当。

Apr, 2024

大型语言模型在完成各种语言处理任务方面很成功，但在生成适当的控制序列时很容易与物理世界互动失败。我们发现主要原因是LLM没有与物理世界紧密连接。与现有基于LLM的方法相比，我们旨在解决这个问题，并探索在无训练范式下促使预训练LLM完成一系列机器人操作任务的可能性。为了将这些计划和控制序列与物理世界联系起来，我们开发了促使技术，通过刺激LLM来预测生成计划的后果并为相关对象生成可供性值。实验证明，LLM+A在各种语言条件下的机器人操作任务中的有效性，显示了我们的方法通过增强生成计划和控制的可行性来显著提高性能，并能够轻松推广到不同的环境。

Apr, 2024

利用大型语言模型（LLMs）和运动规划，提出了一种模块化方法Plan-Seq-Learn（PSL），将抽象语言和学习到的低级控制相结合，从头开始解决长期目标的机器人任务，并在超过25个具有挑战性的机器人任务中取得了最先进的结果。

May, 2024