Nov, 2023

面向可泛化的关节式物体操作的运动感知提示

PDF
TL;DR通过在大型语言模型（LLMs）中引入物体的运动学知识，我们提出了一个运动学感知的提示框架，来生成各种物体操作的低层运动轨迹航点，从而实现智能机器人的通用操控。我们的实验结果表明，该框架在 8 个已知物体类别上表现优于传统方法，并且在 8 个未知的关节式物体类别上展现出强大的零样本能力。同时，我们在 7 个不同的物体类别上进行的真实世界实验也证明了该框架在实际场景中的适应性。
发现论文，激发创造
  • ManipLLM: 对象为中心的机器人操作的具身多模态大规模语言模型

    通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用 fine-tuning 方法，在保留 MLLM 的常识和推理能力的同时，为其提供操作能力。实验结果表明 ManipLLM 在模拟器和真实环境中均有出色表现。

    Dec, 2023

  • 语言模型作为零样本轨迹生成器

    大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

    Oct, 2023

  • 从视觉演示中学习关节动作

    该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法，以便于机器人能够独立使用这些物体，这种方法不需要先前的物体模型，并使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。

    Feb, 2015

  • 利用能力促进大型语言模型在机器人操纵方面的应用

    大型语言模型在完成各种语言处理任务方面很成功，但在生成适当的控制序列时很容易与物理世界互动失败。我们发现主要原因是 LLM 没有与物理世界紧密连接。与现有基于 LLM 的方法相比，我们旨在解决这个问题，并探索在无训练范式下促使预训练 LLM 完成一系列机器人操作任务的可能性。为了将这些计划和控制序列与物理世界联系起来，我们开发了促使技术，通过刺激 LLM 来预测生成计划的后果并为相关对象生成可供性值。实验证明，LLM+A 在各种语言条件下的机器人操作任务中的有效性，显示了我们的方法通过增强生成计划和控制的可行性来显著提高性能，并能够轻松推广到不同的环境。

    Apr, 2024

  • 人体物体交互：基于人类级别指令

    能够从人类级别的指示中同时合成对象运动、全身运动和手指运动的第一个完整系统。

    Jun, 2024

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • 学习关节物体运动模型的概率框架

    该研究提出了一种用于模拟动态图的概率框架，包括对边模型的参数化和非参数模型的建模，以及如何估算物体运动的结构和运动学模型以及其在机器人操作和移动操作中的应用。

    Jan, 2014

  • 基于部件引导的三维强化学习用于仿真到实物的关节物体操控

    通过视觉反馈操纵不可见的关节对象对于实际机器人而言是一项关键但具有挑战性的任务。本文提出了一个新颖的部件导向的 3D RL 框架，可以在没有示范的情况下学习操纵关节对象。实验结果在仿真环境和真实世界环境中证明了我们框架的有效性。

    Apr, 2024

  • 基于 LLM 的人机协作框架用于操作任务

    该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

    Aug, 2023

  • 具有大规模语言模型的通用长程操控

    该研究介绍了一种利用大型语言模型（LLMs）的能力生成通用长视野操作的基本任务条件的框架，用于对新颖物体和未知任务进行操作。这些任务条件用于指导长时程任务执行中动态运动基元（DMP）轨迹的生成和调整。我们还基于 Pybullet 创建了一个用于进行长时程任务评估的具有挑战性的机器人操纵任务套件。在模拟和现实环境中进行的大量实验证明了我们的框架在涉及新对象的熟悉任务和新颖但相关任务上的有效性，突显了大型语言模型在提升机器人系统的多功能性和适应性方面的潜力。

    Oct, 2023