Jun, 2023

RoboCat：面向机器人操控的自我改进基础代理

PDF
TL;DR提出了一个基于视觉目标调节的决策转换器，命名为 RoboCat，它能够消耗多体验行为标记的视觉经验，用于机器人操作的基础模型，并展示了模型对新任务和机器人的泛化能力，并可用于生成下一轮训练集的数据。
robotic learningmulti-embodimentvisual goal-conditioninggeneralizationautonomous improvement loop
发现论文，激发创造
  • 通用智能体

    本研究基于大规模语言模型的进展，采用类似方法构建了一个跨越文本输出领域之外的单一通用智能体，称为 Gato，它作为一个多模态、多任务、多具象化的通用策略工作。相同的网络和相同的权重可以同时用于打 Atari 游戏、描述图像、聊天、使用真实机器人臂堆叠积木等任务，根据情境决定是否输出文本、关节扭矩、按键按下或其他词汇，并在本文中描述该模型和数据，并记录 Gato 的当前能力。

    May, 2022

  • 交互式代理基础模型

    提出了一种交互式代理基础模型，采用新颖的多任务代理训练范式，实现了跨领域、数据集和任务训练 AI 代理的能力，展示了其在机器人技术、游戏 AI 和医疗保健领域的性能，支持多模态和多任务学习。

    Feb, 2024

  • 机器人操控的语义增强和动作分块的泛化和效率

    通过语义增强和行为表征，我们开发了一个高效的系统（RoboAgent）来训练具备多任务操作技能的通用智能体，使用少量多样的多模态数据集，能够展示不同的技能并在新颖的场景中表现出很好的泛化性能。

    Sep, 2023

  • RoboGen: 通过生成式模拟释放无限数据用于自动化机器人学习

    通过生成仿真系统，RoboGen 是一种生成式机器人代理，可以自动学习各种机器人技能，从而规模化地进行机器人技能学习，减少人类监督。

    Nov, 2023

  • 铺路把握一切：将基础模型转移，用于通用拾放机器人

    本文提出了一种基于语言根据分割掩模的新型范例，来应对日常情况下一系列的抓取和放置机器人操作任务，通过将从掩模中传达的精确语义和几何形状与我们的多视点策略模型相结合，使我们的方法能够感知准确的物体姿态并实现样本高效学习。

    Jun, 2023

  • 基于基础模型的通用机器人：调查与元分析

    建立具有普适性的通用机器人系统一直是人工智能领域的长期目标。本研究调查了如何将自然语言处理（NLP）和计算机视觉（CV）领域的基础模型应用于机器人领域，并探讨了构建面向机器人的基础模型的可能形式，以及使用基础模型实现通用机器人系统所面临的主要挑战和未来方向。

    Dec, 2023

  • AutoRT: 机器人代理大规模编排的体现模型

    AutoRT 利用基础模型扩展操作机器人在未知场景中的部署，通过视觉 - 语言模型进行场景理解和定位，并利用大规模语言模型提出多样且新颖的指令，实现对机器人群体的指导数据收集，从而显著扩大机器人学习的数据规模。

    Jan, 2024

  • 通向通用型机器人的基础模型：通过自动化任务和场景生成实现大规模的多样化技能学习

    该文呈现了一种用于采矿最新大规模基础模型中的知识的具体想法，其目的是将低级技能学习扩展至规模化，从而实现授予通才机器人的基础模型，并享有在各种现实场景中执行多种任务的能力。

    May, 2023

  • RoboNet：大规模多机器人学习

    本文提出 RoboNet，一个用于共享机器人经验的开放数据库，结合视觉先见性和监督逆模型两种学习算法，用于视觉引导的机器人操作的泛化模型学习，其预训练和微调性能超过使用 4 倍至 20 倍更多数据的机器人特定培训方法。

    Oct, 2019

  • 深度视觉预见性规划机器人动作

    本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

    Oct, 2016