Oct, 2023

学习交互式实景仿真器

PDF
TL;DR通过生成模型学习一个真实世界互动的通用模拟器 (UniSim)，以模拟高级指令和低级控制的可视结果，并用于训练高级视觉 - 语言规划器和低级增强学习策略，实现纯粹从学习的真实世界模拟器中的零样本现实世界转移。
generative modelsreal-world simulatorinteractiontrainingsimulation
发现论文，激发创造
  • Gen2Sim：用生成模型在仿真中扩展机器人学习规模

    利用图像扩散模型生成 3D 资产并查询语言和视觉生成模型，通过自动化生成任务描述、任务分解和奖励函数，实现在模拟环境中扩大机器人技能学习的方法。该方法成功地实现了多样性长期任务的策略学习，为模拟中的机器人技能获取迈出了一步。

    Oct, 2023

  • IRASim：学习交互式真实机器人行为模拟器

    提出了一种利用生成模型的交互式真实机器人动作模拟器，通过生成极其逼真的机器人执行给定动作轨迹的视频，验证了其在实验中的有效性，并开源了相关代码和基准测试。

    Jun, 2024

  • DriveGAN：朝着可控的高质量神经仿真

    通过使用机器学习，该研究提出了一种能够通过观察图像数据和相关动作对来学习环境行为并进行建模的高质量神经模型，称为 DriveGAN，不需要监督信号训练控制模型，并在多个数据集上进行了训练和测试，表现优于之前的数据驱动模拟器，实现了对场景和非玩家对象的各个方面进行控制的新功能。

    Apr, 2021

  • 自然语言有助于缩小 Sim2Real 鸿沟

    通过使用自然语言描述图像作为统一的信号来捕捉底层的任务相关语义，我们提出了一种方法来解决在学习图像条件机器人策略时所面临的模拟与真实世界之间的视觉差距问题，该方法通过对大量模拟数据和少量真实演示进行同时训练，将图像编码器作为无域变迁的图像表示的基础，并取得了较之前的 Sim2Real 方法和 CLIP、R3M 等强大的视觉 - 语言预训练方法 25 至 40% 的性能提升。

    May, 2024

  • Genie: 生成式交互环境

    Genie 是第一个通过无监督方式从无标签互联网视频中训练得到的生成交互式环境，它可以根据文本、合成图像、照片甚至草图生成无限多种可控行为的虚拟世界。拥有 11B 个参数的 Genie 可以被视为基础世界模型，它由时空视频分词器、自回归动力学模型以及简单可扩展的潜在动作模型组成。尽管训练时没有使用任何真实行为标签或其他领域特定的要求，Genie 可以使用户基于逐帧操作生成的环境。此外，由此产生的学习潜在动作空间可用于训练代理机器人模仿未见过的视频行为，为未来培训通才型代理机器人打开了道路。

    Feb, 2024

  • RoboGen: 通过生成式模拟释放无限数据用于自动化机器人学习

    通过生成仿真系统，RoboGen 是一种生成式机器人代理，可以自动学习各种机器人技能，从而规模化地进行机器人技能学习，减少人类监督。

    Nov, 2023

  • GenSim：通过大型语言模型生成机器人仿真任务

    通过使用语言模型生成丰富的仿真环境和专家演示，在模拟数据上进行多任务策略训练，极大地增强了任务级泛化能力，并实现了对未见过的现实任务的强大转移能力。

    Oct, 2023

  • RL-CycleGAN: 强化学习感知的模拟到真实领域的对抗生成网络

    本论文提出了基于深度神经网络的强化学习在机器人抓取任务中的应用，以及利用生成模型进行图像仿真与真实环境之间的过渡。其中引入了 RL-scene 一致性损失用于图像翻译，可保证翻译操作是不变的，并在实现无监督领域转换的同时，训练出了 RL-CycleGAN 模型，该模型表现出了模拟到现实环境下最优的效果。

    Jun, 2020

  • 生成代理：人类行为的交互模拟体

    该论文介绍了一种通过扩展语言模型来实现生成代理的架构，生成的代理在交互中呈现出能够模拟真实人类行为和社交的表现。

    Apr, 2023

  • 学习使用 GameGAN 模拟动态环境

    本文介绍了 GameGAN 这个生成模型，它通过学习代理与环境交互中的表现来模拟图形游戏环境，并通过内部环境地图和动静分离的方式实现更高的可解释性和更广泛的应用。

    May, 2020