Nov, 2023

RoboGen: 通过生成式模拟释放无限数据用于自动化机器人学习

PDF
TL;DR通过生成仿真系统，RoboGen 是一种生成式机器人代理，可以自动学习各种机器人技能，从而规模化地进行机器人技能学习，减少人类监督。
发现论文，激发创造
  • Gen2Sim：用生成模型在仿真中扩展机器人学习规模

    利用图像扩散模型生成 3D 资产并查询语言和视觉生成模型，通过自动化生成任务描述、任务分解和奖励函数，实现在模拟环境中扩大机器人技能学习的方法。该方法成功地实现了多样性长期任务的策略学习，为模拟中的机器人技能获取迈出了一步。

    Oct, 2023

  • MimicGen：一个用于可扩展机器人学习的数据生成系统，利用人类演示

    利用少量人类示范，通过适应它们到新场景的方式，自动合成大规模且丰富的数据集，使机器人代理能够在长期视野和高精度任务中通过模仿学习取得良好的性能，比收集额外的人类示范更有效且经济。

    Oct, 2023

  • DiffGen: 通过可微分物理仿真、可微分渲染和视觉 - 语言模型生成机器人演示

    提出了一种新框架 DiffGen，通过集成可微分物理模拟、可微分渲染和视觉 - 语言模型，实现自动和高效的机器人演示生成，通过最小化语言指令的嵌入与模拟观察结果的嵌入之间的距离来完成指定任务，验证实验表明，DiffGen 可以有效地生成机器人数据，并且减少了人力和训练时间的投入。

    May, 2024

  • GenSim：通过大型语言模型生成机器人仿真任务

    通过使用语言模型生成丰富的仿真环境和专家演示，在模拟数据上进行多任务策略训练，极大地增强了任务级泛化能力，并实现了对未见过的现实任务的强大转移能力。

    Oct, 2023

  • IntervenGen：强化和高效机器人模仿学习的干预数据生成

    通过 IntervenGen (I-Gen) 数据生成系统，只需借助少数人工干预，便能自主生成大量具有状态空间丰富覆盖的纠正干预数据，从而将策略的鲁棒性提高多达 39 倍。

    May, 2024

  • 实现自动化和规范化机器人系统的路线图

    通过将高级策略生成为结构化图形数据并生成低级任务的代码库，提出了一个可以实现全自动和规范化机器人系统的路线图。

    Mar, 2024

  • 学习交互式实景仿真器

    通过生成模型学习一个真实世界互动的通用模拟器 (UniSim)，以模拟高级指令和低级控制的可视结果，并用于训练高级视觉 - 语言规划器和低级增强学习策略，实现纯粹从学习的真实世界模拟器中的零样本现实世界转移。

    Oct, 2023

  • Genie: 生成式交互环境

    Genie 是第一个通过无监督方式从无标签互联网视频中训练得到的生成交互式环境，它可以根据文本、合成图像、照片甚至草图生成无限多种可控行为的虚拟世界。拥有 11B 个参数的 Genie 可以被视为基础世界模型，它由时空视频分词器、自回归动力学模型以及简单可扩展的潜在动作模型组成。尽管训练时没有使用任何真实行为标签或其他领域特定的要求，Genie 可以使用户基于逐帧操作生成的环境。此外，由此产生的学习潜在动作空间可用于训练代理机器人模仿未见过的视频行为，为未来培训通才型代理机器人打开了道路。

    Feb, 2024

  • RoboNet：大规模多机器人学习

    本文提出 RoboNet，一个用于共享机器人经验的开放数据库，结合视觉先见性和监督逆模型两种学习算法，用于视觉引导的机器人操作的泛化模型学习，其预训练和微调性能超过使用 4 倍至 20 倍更多数据的机器人特定培训方法。

    Oct, 2019

  • RealGen：基于检索增强生成的可控交通场景

    通过检索基增强的情境学习框架 RealGen，在交通场景生成领域中实现的灵活性和可控性，为生成自动驾驶车辆训练和评估的复杂行为启发了新的方向。

    Dec, 2023