Mar, 2023

使用预训练视觉语言模型进行开放世界物体操作

PDF
TL;DR通过使用预训练的视觉 - 语言模型，开发了一种简单的方法 Manipulation of Open-World Objects (MOO) 来从自然语言命令和图像中提取目标标识信息，并将机器人策略基于当前图像、指令和提取的对象信息。在一个真实的移动机械臂上进行了多种实验，发现 MOO 可以零样本推广到广泛的新对象类别和环境中。
robot learningvision-language modelmanipulation of open-world objects (moo)object recognitionzero-shot generalization
发现论文，激发创造
  • 面向开放世界抓取的大规模视觉语言模型

    通过结合语言模型 (vision-language models)、分割模型和抓取综合模型，提出了一个能够在任何场景中理解、规划和执行物体抓取的开放世界抓取系统 (OWG)，通过视觉提示机制，借助于开放式自由语言的引导实现零样本应用，展示了该系统在杂乱室内场景数据集和仿真环境、硬件实验中相对于以往的有监督和零样本语言模型方法具有优越性能。

    Jun, 2024

  • 利用单个人类视频的基于视觉的开放世界物体图形操作

    通过从单个人类视频中提取以对象为中心的操纵计划并推导出条件为提取计划的策略，我们提出了一种以对象为中心的方法，为机器人学习基于视觉的操纵技能提供支持。我们的方法允许机器人从 iPad 等日常移动设备捕获的视频中学习，并将策略推广到具有不同视觉背景、摄像机角度、空间布局和新颖对象实例的部署环境中。通过对短程和长程任务进行系统评估，我们展示了 ORION 在从单个人类视频中学习开放世界中的有效性。

    May, 2024

  • 自动化现实世界机器人：利用视觉语言模型操控一切

    Manipulate-Anything 是一种可扩展的自动化生成方法，在没有特权状态信息、手动设计的技能的情况下，在真实环境中操作任何静态物体，其生成的演示数据可以用于生成鲁棒的行为克隆策略。

    Jun, 2024

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 自适应开放环境下的关节化物体移动操控

    在本研究中，我们介绍了一个全套解决方案，即开放世界移动操作系统，用于处理开放且无结构的环境中的真实关节对象操作，如真实世界中的门、柜子、抽屉和冰箱。我们还开发了一种低成本的移动操作硬件平台，能够在无结构环境中进行安全和自主的在线调整。

    Jan, 2024

  • 通过翻译人类交互计划实现推广的零射击操作

    我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

    Dec, 2023

  • 学习神经符号程序用于语言引导机器人操控

    通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

    Nov, 2022

  • OK-Robot: 整合开放知识模型对机器人的重要性

    通过将视觉 - 语言模型（VLMs）与导航原语和抓取原语相结合，OK-Robot 提供了一个集成的解决方案，用于无需任何训练的拾取和放置操作，其在 10 个真实家居环境中取得了 58.5% 的成功率，在清洁、无杂乱环境中提高到 82%，这代表了开放词汇移动操纵中新的最先进技术。

    Jan, 2024

  • 通过视觉规划和执行学习机器人操作

    本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

    May, 2019

  • MOKA：基于标记的视觉提示的开放词汇机器人操纵

    利用开放词汇泛化的方法，本文提出了 MOKA（标记开放词汇关键点可利用性）来使用视觉语言模型解决由自由形式语言描述的机器人操作任务，通过在图像上注记关键点和航点的预测，将问题转化为视觉问答问题，并通过上下文学习和策略精炼提升性能，验证并分析了 MOKA 在以自由形式语言描述的各种操纵任务中的表现，如工具使用、可塑性物体操作和物体重新排列。

    Mar, 2024