Jan, 2024

OK-Robot: 整合开放知识模型对机器人的重要性

PDF
TL;DR通过将视觉 - 语言模型（VLMs）与导航原语和抓取原语相结合，OK-Robot 提供了一个集成的解决方案，用于无需任何训练的拾取和放置操作，其在 10 个真实家居环境中取得了 58.5% 的成功率，在清洁、无杂乱环境中提高到 82%，这代表了开放词汇移动操纵中新的最先进技术。
robotics frameworkopen knowledge-basedvision-language modelspick-and-drop operationsopen vocabulary mobile manipulation
发现论文，激发创造
  • HomeRobot: 开放词汇的移动操作

    HomeRobot 是一种经济实惠的柔性机器人，可在家中导航和操作各种物品以完成日常任务，Open-Vocabulary Mobile Manipulation 是其面临的挑战，该文介绍了一个基于模拟的基准测试，使用强化学习和启发式模型等基线，并探讨了改进性能的方法。

    Jun, 2023

  • 面向开放世界抓取的大规模视觉语言模型

    通过结合语言模型 (vision-language models)、分割模型和抓取综合模型，提出了一个能够在任何场景中理解、规划和执行物体抓取的开放世界抓取系统 (OWG)，通过视觉提示机制，借助于开放式自由语言的引导实现零样本应用，展示了该系统在杂乱室内场景数据集和仿真环境、硬件实验中相对于以往的有监督和零样本语言模型方法具有优越性能。

    Jun, 2024

  • MOKA：基于标记的视觉提示的开放词汇机器人操纵

    利用开放词汇泛化的方法，本文提出了 MOKA（标记开放词汇关键点可利用性）来使用视觉语言模型解决由自由形式语言描述的机器人操作任务，通过在图像上注记关键点和航点的预测，将问题转化为视觉问答问题，并通过上下文学习和策略精炼提升性能，验证并分析了 MOKA 在以自由形式语言描述的各种操纵任务中的表现，如工具使用、可塑性物体操作和物体重新排列。

    Mar, 2024

  • 在未知的动态环境中使用三维语义地图进行开放词汇的移动操作

    在未知和动态环境中，建立并理解空间语义上下文的移动机器人操作任务通过零样本检测和基于视觉 - 语言模型的密集三维实体重建，利用大型语言模型进行空间区域抽象和在线规划，并通过演示在实际机器人实验中取得较高的导航和任务成功率以及基线模型相比更好的成功率和性能，证明了这种新的框架的有效性。

    Jun, 2024

  • 2023 年家庭机器人开放词汇移动操控竞赛参与报告（KuzHum 团队）

    我们在 NeurIPS 2023 的 HomeRobot：开放词汇移动操作（OVMM）挑战中改进了强化学习基准模型，包括更准确的语义分割模块，以及更好的放置技能策略和高级启发式方法，在测试数据集的标准分割上，整体成功率提高了 2.4％（七倍的改进）和部分成功率提高了 8.2％（1.75 倍的改进）。在模拟和真实场景的挑战中，我们的代理获得了第三名的成绩。

    Jan, 2024

  • RT-2：视觉 - 语言 - 行动模型将网络知识转化为机器人控制

    通过在互联网规模的数据上训练视觉语言模型，将其直接融入端到端的机器人控制中，提高泛化能力和实现新兴的语义推理。我们提出了一种简单通用的方法，在模型训练集中直接将行动表现为文本标记，将自然语言回答和机器人行动合并到同一个格式中，从而实现了单一端到端训练模型的目标。我们将这类模型称为视觉语言行动模型（VLA），并以 RT-2 为例进行了实例化。广泛的评估结果表明，我们的方法可以得到性能优越的机器人策略，并使 RT-2 在互联网规模的训练中获得一系列新兴能力。这包括对新对象的显著改进的泛化能力，解释不在机器人训练数据中的命令（比如将物体放在特定的编号或图标上）的能力，以及对用户指令做出初步推理的能力（比如选择最小或最大的物体，或者离另一个物体最近的物体）。我们进一步说明了通过思维链式推理，RT-2 可以进行多阶段的语义推理，例如找到作为非正式锤子使用的物体（一块石头），或者适合疲劳人群的饮料类型（一种能量饮料）。

    Jul, 2023

  • 使用预训练视觉语言模型进行开放世界物体操作

    通过使用预训练的视觉 - 语言模型，开发了一种简单的方法 Manipulation of Open-World Objects (MOO) 来从自然语言命令和图像中提取目标标识信息，并将机器人策略基于当前图像、指令和提取的对象信息。在一个真实的移动机械臂上进行了多种实验，发现 MOO 可以零样本推广到广泛的新对象类别和环境中。

    Mar, 2023

  • 物理基础的视觉语言模型用于机器人操作

    通过在 36.9K 个常见家居物体的数据集 PhysObjects 上针对视觉外观捕捉人类先验知识，我们提出了一种基于物理概念的视觉语言模型（VLM），并将其与基于大语言模型的机器人规划器结合使用，取得了在涉及与物理物体概念推理相关的任务中相比不使用物理概念的基线模型实现了改进的规划性能的结果。此外，在真实机器人上展示了物理概念视觉语言模型的好处，提高了任务成功率。

    Sep, 2023

  • RoboPoint：机器人的空间可行性预测的视觉语言模型

    我们介绍了一个自动的合成数据生成流水线，用于调整机器人领域和需求中的视觉语言模型，并通过该流水线训练了 RoboPoint，该模型可以根据语言指令预测图像关键点的可行性。与其他方法相比，我们的方法无需真实世界数据收集或人类示范，使得它在适应多样环境和视点方面具有更大的可扩展性。此外，RoboPoint 是一个通用模型，可以用于机器人导航、操作和增强现实（AR）辅助等多个下游应用。我们的实验证明，RoboPoint 在预测空间可行性的准确性上比最先进的 VLMs（GPT-4o）和视觉提示技术（PIVOT）提高了 21.8％，在下游任务的成功率上提高了 30.5％。

    Jun, 2024

  • 视觉语言基础模型作为有效的机器人模仿者

    通过对开放源代码的视觉 - 语言模型进行简单微调，RoboFlamingo 构建了一个简单而新颖的视觉 - 语言操控框架，并利用单步视觉 - 语言理解的预训练模型、显式策略推测历史信息，通过模仿学习在以语言为条件的操纵数据集上微调。通过在基准测试上超过最先进的性能，表明 RoboFlamingo 能够有效并具有竞争力地将 VLM 适应到机器人控制中，为机器人操作提供了一种具有潜力的经济高效和易于使用的解决方案。

    Nov, 2023