Aug, 2023

LEMMA: 学习语言驱动的多机器人操作

PDF
TL;DR我们介绍了一个基于人类语言指令的桌面环境下，侧重于任务分配和长时间跨度物体操作的多机器人语言条件操作（LEMMA）基准。LEMMA 具有多种类型的过程生成任务，其复杂度不同，其中一些需要机器人使用工具并将工具传递给彼此。为每个任务提供 800 个专家示范和人类指令进行训练和评估。LEMMA 相对于现有基准提出了更大的挑战，因为它要求系统识别每个操纵器的限制，并相应地分配子任务，同时还要处理每个任务中的强时间依赖。为应对这些挑战，我们提出了一种基于模块化分层规划方法作为基线。我们的结果突显了 LEMMA 在开发未来语言条件多机器人系统方面的潜力。
language-conditioned multi-robot manipulationtask allocationlong-horizon object manipulationbenchmarkmodular hierarchical planning
发现论文，激发创造
  • 基于 LLM 的人机协作框架用于操作任务

    该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

    Aug, 2023

  • VLMbench：一个视觉语言操纵组合基准

    本文提出自动操作求解器（AMSolver）系统和基于其构建的视觉与语言操作基准（VLMbench），用于处理基于语言指令的机器人操作任务，并开发了基于关键点的 6D-CLIPort 模型来处理多视角观察和语言输入并输出一系列 6 自由度（DoF）动作。

    Jun, 2022

  • LEMMA：学习多智能体多任务活动的多视角数据集

    介绍了 LEMA 数据集，通过密集注释原子动作和人 - 物互动，为日常活动的组成性，调度性和分配性提供了地面真实性，进一步设计了具有基线模型的具有挑战性的组成动作识别和动作 / 任务预测基准，旨在推动机器视觉社区研究真实世界中的人类目标导向活动和任务调度和分配。

    Jul, 2020

  • 用于编排双臂机器人的大型语言模型

    利用大型语言模型（LLM）的语言感知和上下文学习能力，开发了基于 LLM 的双手动作协调系统（LABOR Agent），用于解决双手操作任务的时空协调问题，并通过在仿真环境中测试实验证明其接近最优性能。

    Apr, 2024

  • 通过人机协作增强基于 LLM 的机器人操控

    通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

    Jun, 2024

  • 机器技能综合的语言到奖励转换

    本文提出了一种新颖的方法，即通过利用大型语言模型 (LLMs) 定义奖励参数，从而优化和实现各种机器人任务，并结合实时优化器 MuJoCo MPC，使用户可以交互地创造行为并快速获得结果反馈。作者在一个模拟仿真机器人四足动物和一种机械手进行了 17 个任务的评价，证明了这种方法成功解决了 90% 的任务，并在真实机器人手臂上验证了方法的有效性，包括非握持推动等复杂操作技能。

    Jun, 2023

  • ManipLLM: 对象为中心的机器人操作的具身多模态大规模语言模型

    通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用 fine-tuning 方法，在保留 MLLM 的常识和推理能力的同时，为其提供操作能力。实验结果表明 ManipLLM 在模拟器和真实环境中均有出色表现。

    Dec, 2023

  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023

  • LoHoRavens: 一项长视程语言引导的机器人桌面操纵基准

    本研究基于体验工具人和大型语言模型的融合，在长时序任务中通过引入颜色、尺寸、空间、算术和参考等多个方面的推理来进行桌面操作，提出了一个模拟基准测试过程，同时探索通过标题生成和可学习接口来弥合模态差距，以改进当前流行模型在长时序桌面操作任务中的表现。

    Oct, 2023

  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024