通过使用语言模型生成丰富的仿真环境和专家演示，在模拟数据上进行多任务策略训练，极大地增强了任务级泛化能力，并实现了对未见过的现实任务的强大转移能力。

Oct, 2023

通过生成仿真系统，RoboGen 是一种生成式机器人代理，可以自动学习各种机器人技能，从而规模化地进行机器人技能学习，减少人类监督。

Nov, 2023

本论文提出了基于深度神经网络的强化学习在机器人抓取任务中的应用，以及利用生成模型进行图像仿真与真实环境之间的过渡。其中引入了 RL-scene 一致性损失用于图像翻译，可保证翻译操作是不变的，并在实现无监督领域转换的同时，训练出了 RL-CycleGAN 模型，该模型表现出了模拟到现实环境下最优的效果。

Jun, 2020

利用少量人类示范，通过适应它们到新场景的方式，自动合成大规模且丰富的数据集，使机器人代理能够在长期视野和高精度任务中通过模仿学习取得良好的性能，比收集额外的人类示范更有效且经济。

Oct, 2023

提出了一种新框架 DiffGen，通过集成可微分物理模拟、可微分渲染和视觉 - 语言模型，实现自动和高效的机器人演示生成，通过最小化语言指令的嵌入与模拟观察结果的嵌入之间的距离来完成指定任务，验证实验表明，DiffGen 可以有效地生成机器人数据，并且减少了人力和训练时间的投入。

May, 2024

本研究提出了 GenH2R 框架，用于学习通用的基于视觉的人到机器人交接技能，通过大规模的模拟环境和模仿学习的方法，实现了超过现有模拟器数量三个数量级的 H2R 交接模拟环境和高质量演示，通过 4D 模仿学习方法在模拟器和实际中取得了至少 10％的成功率改进。

Jan, 2024

通过生成模型学习一个真实世界互动的通用模拟器 (UniSim)，以模拟高级指令和低级控制的可视结果，并用于训练高级视觉 - 语言规划器和低级增强学习策略，实现纯粹从学习的真实世界模拟器中的零样本现实世界转移。

Oct, 2023

使用大规模语言模型（LLMs）自动构建适合真实世界转化的奖励函数和域随机化分布的 DrEureka 方法可用于解决四足动作和灵巧操纵等机器人任务，且无需迭代式手动设计。

Jun, 2024

本文主要研究在 assistive tasks 中应用 sim2real 技术时的问题，并提出了一种解决方案 —— 通过学习一种好的 latent representation 来匹配 test-time humans 能够准确映射到的人类策略，并且在 test-time 进行 fine-tune，这样能够更好地结构化人类策略。

Dec, 2022

人工智能的近期发展大多受到规模化的推动。在机器人学中，规模化受到获取大规模机器人数据集的限制。我们提倡使用逼真的物理仿真作为扩展环境、任务和数据集以用于机器人学习方法。我们提出了一个名为 RoboCasa 的大规模仿真框架，用于在日常环境中训练通用型机器人。RoboCasa 以厨房环境为重点，具备逼真和多样化的场景。我们提供了数千个 3D 物体，涵盖 150 多个物体类别和数十个可交互的家具和电器。我们利用生成式人工智能工具来丰富仿真的逼真度和多样性，如使用文本生成 3D 模型的物体和使用文本生成环境纹理的模型。我们设计了一套包含 100 个任务的系统评估，其中包括由大型语言模型引导生成的复合任务。为了便于学习，我们提供高质量的人类演示，并整合自动化轨迹生成方法，以最小化人力负担大幅扩展数据集。我们的实验显示，使用合成生成的机器人数据进行大规模的模仿学习呈现出明显的规模化趋势，并在利用仿真数据进行真实任务中表现出巨大潜力。视频和开源代码可在此 https 网址上获取。

Jun, 2024