Jul, 2024

家庭中的开放世界移动操作：来自 Neurips 2023 HomeRobot 开放词汇移动操作挑战的经验

HTML
PDF
TL;DR为了开发可以有效作为多功能和有能力的家庭助手的机器人，它们可靠地感知和与不同环境中的各种物体进行交互，这是至关重要的。为此，我们提出了开放词汇移动操作作为机器人的关键基准任务：在新环境中找到任何物体并将其放在该环境中的任何容器表面上。我们组织了一个NeurIPS 2023竞赛，其中包括模拟和现实世界的组成部分，以评估解决这一任务的方法。我们在最具挑战性版本的此任务上使用真实感知在模拟中的基线仅实现了0.8％的成功率；到竞赛结束时，最好的参赛者实现了10.8％的成功率，提高了13倍。我们观察到最成功的团队采用了各种方法，但在最佳解决方案中出现了两个共同的线索：增强错误检测和恢复，并改进感知与决策过程的集成。在本文中，我们详细介绍了在模拟和现实环境中使用的结果和方法论。我们讨论了所学到的教训及其对未来研究的影响。此外，我们比较了在真实和模拟环境中的性能，并强调了对新环境的稳健泛化的必要性。
发现论文，激发创造
  • 使用预训练视觉语言模型进行开放世界物体操作

    通过使用预训练的视觉-语言模型，开发了一种简单的方法Manipulation of Open-World Objects (MOO)来从自然语言命令和图像中提取目标标识信息，并将机器人策略基于当前图像、指令和提取的对象信息。在一个真实的移动机械臂上进行了多种实验，发现MOO可以零样本推广到广泛的新对象类别和环境中。

    Mar, 2023

  • HomeRobot: 开放词汇的移动操作

    HomeRobot是一种经济实惠的柔性机器人，可在家中导航和操作各种物品以完成日常任务，Open-Vocabulary Mobile Manipulation是其面临的挑战，该文介绍了一个基于模拟的基准测试，使用强化学习和启发式模型等基线，并探讨了改进性能的方法。

    Jun, 2023

  • UniTeam：开放词汇移动操控挑战赛

    该研究介绍了我们的UniTeam代理——一个改进的基线模型，用于处理在陌生环境中的导航问题、新物体的操作问题以及开放词汇的物体识别问题。通过评估基线代理的性能，并改善感知、导航和操作技能，实现了在感知方面的缺陷最小化、导航方面的无限循环问题解决、取物方面的因物体能见度变化导致的失败问题解决以及放置方面的准确定位以成功放置物体。

    Dec, 2023

  • LHManip：用于杂乱桌面环境中的长时程语言驱动操作任务的数据集

    通过提供具有多步骤的长期任务的数据集，作者展示了语言条件的模仿学习和离线强化学习在机器人操作中的重要性和表现。

    Dec, 2023

  • 自适应开放环境下的关节化物体移动操控

    在本研究中，我们介绍了一个全套解决方案，即开放世界移动操作系统，用于处理开放且无结构的环境中的真实关节对象操作，如真实世界中的门、柜子、抽屉和冰箱。我们还开发了一种低成本的移动操作硬件平台，能够在无结构环境中进行安全和自主的在线调整。

    Jan, 2024

  • 在仿真环境中评估实际机器人操纵策略

    机器人学中的评估与模拟环境之间的控制和视觉差异是可靠的模拟评估的关键挑战，在创建适用于常见真实机器人设置的SIMPLER模拟环境的基础上，我们证明了在这些环境中的政策表现与真实世界中的表现之间的强相关性，同时准确反映了真实世界的政策行为模式，通过我们的工作流以及开源的SIMPLER环境，促进了通用操作策略和模拟评估框架的研究。

    May, 2024

  • 在未知的动态环境中使用三维语义地图进行开放词汇的移动操作

    在未知和动态环境中, 建立并理解空间语义上下文的移动机器人操作任务通过零样本检测和基于视觉-语言模型的密集三维实体重建, 利用大型语言模型进行空间区域抽象和在线规划, 并通过演示在实际机器人实验中取得较高的导航和任务成功率以及基线模型相比更好的成功率和性能, 证明了这种新的框架的有效性。

    Jun, 2024

  • 自动化现实世界机器人：利用视觉语言模型操控一切

    Manipulate-Anything是一种可扩展的自动化生成方法，在没有特权状态信息、手动设计的技能的情况下，在真实环境中操作任何静态物体，其生成的演示数据可以用于生成鲁棒的行为克隆策略。

    Jun, 2024

  • 通过自主实世界强化学习持续改进移动操控

    本研究解决了移动操控领域缺乏有效自主学习框架的问题。通过引入任务相关的自主性、行为先验的知识以及通用奖励机制，我们提出了一种新方法，使得机器人能够在没有大量外部设备或人工监督的情况下自我提升。研究表明，该方法使得Spot机器人在四项复杂的移动操控任务中平均成功率达到80%，相较于现有方法提升了3-4个百分点。

    Sep, 2024

  • BUMBLE：通过视觉-语言模型统一推理与行动以实现建筑范围内的移动操控

    本研究针对建筑范围内移动操控任务中的长时程挑战，提出了BUMBLE框架，通过集成开放世界RGBD感知、多样化的运动技能及双层内存来实现任务的高效执行。评估结果显示，BUMBLE在不同建筑、任务场景下的成功率达到47.1%，用户满意度相比现有方法提高22%，展现了使用先进基础模型提升性能的潜力。

    Oct, 2024