通过重新使用大型数据集，提出在多个机器人平台上训练单一策略的关键设计决策，通过对视觉和动作空间的对齐以及对内部表示的对齐来解决机器人平台之间的领域差异，验证了该方法在不同机器人上收集的新任务数据中成功率和样本效率的显著提升。

Jul, 2023

通过语义增强和行为表征，我们开发了一个高效的系统（RoboAgent）来训练具备多任务操作技能的通用智能体，使用少量多样的多模态数据集，能够展示不同的技能并在新颖的场景中表现出很好的泛化性能。

Sep, 2023

本文提出 RoboNet，一个用于共享机器人经验的开放数据库，结合视觉先见性和监督逆模型两种学习算法，用于视觉引导的机器人操作的泛化模型学习，其预训练和微调性能超过使用 4 倍至 20 倍更多数据的机器人特定培训方法。

Oct, 2019

通过使用互联网规模的视觉 - 语言数据和多样化的机器人演示进行预训练的大型模型，可以改变我们教授机器人新技能的方式：相对于从零开始训练新行为，我们可以对这种视觉 - 语言 - 动作（VLA）模型进行微调，以获得稳健、具有广泛适用性的视觉 - 动作策略。我们介绍了 OpenVLA，这是一个 7B 参数的开源 VLA，它在多样化的 970k 真实世界机器人演示数据集上进行了训练。OpenVLA 基于 Llama 2 语言模型和可视编码器，融合了 DINOv2 和 SigLIP 的预训练特征。通过增加数据多样性和新的模型组件，OpenVLA 在广义操纵方面表现出色，在 29 个任务和多个机器人实体上的绝对任务成功率上优于 RT-2-X（55B）等闭源模型 16.5%，并且参数数量仅为其七分之一。我们进一步展示了 OpenVLA 对于新环境的有效微调，在涉及多个对象和强大语言基础能力的多任务环境中，具有特别强大的泛化能力，且优于 Diffusion Policy 等基于从头开始的模仿学习方法 20.4%。此外，我们还探索了计算效率；作为额外贡献，我们表明 OpenVLA 可以通过现代低秩适应方法在消费级 GPU 上进行微调，并通过量化方式进行有效服务，而不会影响下游的成功率。最后，我们发布了模型检查点、微调笔记本以及基于 PyTorch 的代码库，支持在 Open X-Embodiment 数据集上规模化训练 VLA。

Jun, 2024

通过开放式训练和高容量结构的机器学习模型，结合具有各种数据多样性的大规模数据集，以实现机器人模型的泛化能力。

Dec, 2022

从异构数据中训练通用机器人策略，使用 Policy Composition 方法将不同模态和领域的数据结合起来，学习场景级和任务级的广义操作技能，实现对多任务操作的灵活综合和推理时策略行为的自适应。在模拟和真实世界实验中，该组合策略在不同场景和任务下实现了稳健和灵巧的性能，并优于单个数据源的基线结果。

Feb, 2024

通过引入 Policy Pool 和异步的非条件 policy 优化策略，本文提出了一种在机器人与人类之间合作中使用的人类向机器人知识迁移算法，在 Mini-Grid 环境中对复杂问题仅需要一次人类示范便可快速学习，展示了其非常高的效率和实用性。

Mar, 2022

利用 AI 代理进行多领域的规划过程，在设备上使用高效的规划 - 执行框架，通过 Phi-3 Mini 等模型和多种 LoRA 训练的权重，实现了在资源受限设备上的计算效率和灵活处理复杂多领域查询。

Jun, 2024

该研究提出了一个框架，用于在现实世界中建立交互式、实时的、自然语言指导的机器人，并开源相关资产 (数据集、环境、基准和策略)。

Oct, 2022

Octopus 是一种新颖的大视觉 - 语言模型，能够有效地解读代理的视觉和文本任务目标，并制定复杂的行动序列和生成可执行代码，通过开源模型结构、模拟器和数据集，旨在激发更多创新，并在更广泛的具身化人工智能社区中促进协作应用。

Oct, 2023