通过使用编程式的提示结构,可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成,从而大大减少了任务规划中需要定义的领域知识。
Sep, 2022
该研究介绍了一种利用大型语言模型(LLMs)的能力生成通用长视野操作的基本任务条件的框架,用于对新颖物体和未知任务进行操作。这些任务条件用于指导长时程任务执行中动态运动基元(DMP)轨迹的生成和调整。我们还基于 Pybullet 创建了一个用于进行长时程任务评估的具有挑战性的机器人操纵任务套件。在模拟和现实环境中进行的大量实验证明了我们的框架在涉及新对象的熟悉任务和新颖但相关任务上的有效性,突显了大型语言模型在提升机器人系统的多功能性和适应性方面的潜力。
Oct, 2023
大型语言模型在完成各种语言处理任务方面很成功,但在生成适当的控制序列时很容易与物理世界互动失败。我们发现主要原因是 LLM 没有与物理世界紧密连接。与现有基于 LLM 的方法相比,我们旨在解决这个问题,并探索在无训练范式下促使预训练 LLM 完成一系列机器人操作任务的可能性。为了将这些计划和控制序列与物理世界联系起来,我们开发了促使技术,通过刺激 LLM 来预测生成计划的后果并为相关对象生成可供性值。实验证明,LLM+A 在各种语言条件下的机器人操作任务中的有效性,显示了我们的方法通过增强生成计划和控制的可行性来显著提高性能,并能够轻松推广到不同的环境。
Apr, 2024
使用自然语言处理模型(LLMs)通过少量样本来实现机器人的动态运动控制,充分展示了机器人领域中大规模预训练模型的潜力。
Sep, 2023
大型语言模型(LLMs)已经显示出在机器人方面作为高级规划器的潜力,但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设,研究了当 LLM(GPT-4)只有对象检测和分割视觉模型的访问权限时,是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现,比如 “打开瓶盖” 和 “用海绵擦拭盘子”,并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制,首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力,并且它们还可以检测到失败并相应地重新规划轨迹。
该论文介绍了一种利用大型语言模型(LLM)进行自主机器人操纵的新方法,通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合,使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外,为了解决 LLM 可能出现的不准确性或不合逻辑的行为,采用了远程操作和动态运动原理(DMP)的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。
Aug, 2023
该研究提出了一种将人类专业知识和 LLM 结合的任务规划方法,通过逐步分解任务并生成任务树来减少每个任务的计划量,并设计了一种策略来分离机器任务计划,从而使任务计划过程更加灵活。
Jun, 2023
基于大型语言模型(LLMs)的研究表明,通过合适的动作空间重新参数化,包括遵守与交互力和刚度相关的约束条件,能够成功地生成用于接触丰富和高精度操纵任务的策略,即使在噪声条件下也有效。
基于大型语言模型的全局控制策略结合了语言输入的解释和处理能力,为多样化和复杂的机器人操作丰富了控制机制。
Jun, 2024
通过使用基于大型语言模型的规划器,我们克服了当前固定技能集的限制,提出了一种用于数据和时间高效教授机器人这些技能的方法,该系统可以重复使用新习得的技能,展示了开放世界和终身学习的潜力。