Jan, 2024

面向物体的指导增强机器人操控

PDF
TL;DR通过引入 “对象中心化指导增强 (OCI)” 框架，将高度语义化和信息密集的语言指导与位置提示相结合，利用多模态大型语言模型 (MLLM) 将物体位置知识编织到自然语言指导中，从而帮助政策网络掌握多样操纵的动作，并通过一系列模拟和现实世界的机器人任务，证明使用我们增强的指令训练的机器人操作策略优于仅依赖传统语言指令的策略。
object-centric instruction augmentationposition cuesmulti-modal large language modelversatile manipulationrobotic manipulator imitation
发现论文，激发创造
  • ManipLLM: 对象为中心的机器人操作的具身多模态大规模语言模型

    通过引入新颖的机器人操作方法，利用多模态大型语言模型（MLLMs）的强大推理能力，增强操作的稳定性和泛化能力。我们采用 fine-tuning 方法，在保留 MLLM 的常识和推理能力的同时，为其提供操作能力。实验结果表明 ManipLLM 在模拟器和真实环境中均有出色表现。

    Dec, 2023

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 基于视觉语言模型的指令增强机器人技能习得

    本论文介绍了一种名为 DIAL 的方法，利用半监督的语言标签，结合 CLIP 的语义理解，将知识传播到大型未标记的数据集中，并在增强的数据集上训练语言条件下的策略，从而使模仿学习策略获得新的能力并推广到原始数据集中未见过的 60 个新指令。

    Nov, 2022

  • 面向语言驱动空间布局的物体中心推断：一种基于基础模型的方法

    我们提出了一种对象为中心的框架，利用基础模型来对参考对象和空间关系进行基础建模，使得机器人可以生成满足语言指令中所有空间关系限制的放置位置，该模型可提高训练数据的利用效率并具有更强的泛化性能，在只有 25% 的训练数据下，我们的模型仍然表现优于目前最佳方法，且可以达到 97.75% 的放置成功率。

    Apr, 2023

  • AIC MLLM: 自主交互修正多重学习模型用于鲁棒机器人操作

    利用多模态大型语言模型（MLLMs）通过前期低层互动经验提示来纠正自主交互修正机器人系统中的姿态预测，实验结果表明我们的 AIC MLLM 可以通过与交互经验提示来高效纠正失效样本。

    Jun, 2024

  • 通过检索的标签提醒多模态大型语言模型中的物体感知知识

    通过增强检索增强标记令牌，我们提出了 Tag-grounded visual instruction tuning with retrieval Augmentation（TUNA），在 12 个基准测试中优于使用相同语言模型和训练数据的基线模型，并展示了 TUNA 的零 - shot 能力。

    Jun, 2024

  • 使用预训练视觉语言模型进行开放世界物体操作

    通过使用预训练的视觉 - 语言模型，开发了一种简单的方法 Manipulation of Open-World Objects (MOO) 来从自然语言命令和图像中提取目标标识信息，并将机器人策略基于当前图像、指令和提取的对象信息。在一个真实的移动机械臂上进行了多种实验，发现 MOO 可以零样本推广到广泛的新对象类别和环境中。

    Mar, 2023

  • 用少数标注实现机器人实例分割技术来抓取物品

    该研究提出了一种将半监督学习与通过互动学习相结合的新方法，通过观察场景变化学习和利用视觉一致性，从而实现对物体的操作。在两个基准测试中验证了该方法，取得了卓越的性能。

    Jul, 2024

  • 人体物体交互：基于人类级别指令

    能够从人类级别的指示中同时合成对象运动、全身运动和手指运动的第一个完整系统。

    Jun, 2024

  • 学习忠实地遵循以物体为中心的图像编辑指令

    自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

    Oct, 2023