人工智能的近期发展大多受到规模化的推动。在机器人学中，规模化受到获取大规模机器人数据集的限制。我们提倡使用逼真的物理仿真作为扩展环境、任务和数据集以用于机器人学习方法。我们提出了一个名为 RoboCasa 的大规模仿真框架，用于在日常环境中训练通用型机器人。RoboCasa 以厨房环境为重点，具备逼真和多样化的场景。我们提供了数千个 3D 物体，涵盖 150 多个物体类别和数十个可交互的家具和电器。我们利用生成式人工智能工具来丰富仿真的逼真度和多样性，如使用文本生成 3D 模型的物体和使用文本生成环境纹理的模型。我们设计了一套包含 100 个任务的系统评估，其中包括由大型语言模型引导生成的复合任务。为了便于学习，我们提供高质量的人类演示，并整合自动化轨迹生成方法，以最小化人力负担大幅扩展数据集。我们的实验显示，使用合成生成的机器人数据进行大规模的模仿学习呈现出明显的规模化趋势，并在利用仿真数据进行真实任务中表现出巨大潜力。视频和开源代码可在此 https 网址上获取。

Jun, 2024

该研究提出一种基于文本至图像转换的数据扩充方法，命名为 ROSIE，通过在现有的机器人操作数据集上应用文本引导扩充数据的方法，我们可以在新的场景和任务中实现更好的机器人操作性能和鲁棒性。

Feb, 2023

本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化，当扩展真实机器人的数据采集到 100 个不同的任务时，我们发现此系统可以实现 24 个未见过的操作任务，平均成功率为 44%。

Feb, 2022

我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

Oct, 2018

该论文提出了一种新的模仿学习系统 OPTIMUS，通过模仿 TAMP 代理来训练大规模视觉运动装置策略，从而介绍了一种专门为模仿学习策划的 TAMP 数据生成流程，并演示了 OPTIMUS 可以解决各种挑战性的基于视觉的操作任务。

May, 2023

本研究旨在解锁机器人实现多模感知的能力，以通过单次模仿学习技术普及各种真实世界技能，通过收集千万级别的真实世界接触式机器人操作记录构建的开源数据集提高任务和动作规划的性能。

Jul, 2023

本研究提出了主动任务随机化（ATR）的方法，通过自动创建合理而新颖的任务，学习了一种适用于顺序操作的视觉运动技能，证明了这种方法比基线方法效果更好。

Nov, 2022

本文探讨在模拟环境中学习机器人操作策略的方法，通过使用深度图像数据的随机扩增策略，实现了在非真实场景下学习并获得了验证。

Mar, 2019

通过语义增强和行为表征，我们开发了一个高效的系统（RoboAgent）来训练具备多任务操作技能的通用智能体，使用少量多样的多模态数据集，能够展示不同的技能并在新颖的场景中表现出很好的泛化性能。

Sep, 2023

以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

Jul, 2017