Sep, 2024

利用异质预训练变换器扩展自我感知与视觉学习

HTML
PDF
TL;DR本研究解决了当前机器人模型训练中的异质性问题，通过在不同的机器人数据和任务上进行异质预训练，提出了一种新的Heterogeneous Pre-trained Transformers (HPT)架构。该方法有效对齐了不同机器人身体姿态的输入，从而在多个任务中显著提高了策略的表现，尤其是在未见任务上的效率超过20%。
发现论文，激发创造
  • 多任务和多机器人迁移学习的模块化神经网络策略学习

    本研究主要关注于如何使用深度增强学习的方法，通过神经网络策略来训练机器人获取新的技能。同时，通过迁移学习，可以实现技能和机器人之间的信息共享，从而使用mix-and-match模块来解决新的机器人环境和任务组合的问题。

    Sep, 2016

  • 利用弱标记图像推广基于视觉的机器人技能

    研究了机器人感知运动控制策略的广义学习问题，提出了一种称为 GPLAC 的方法来提高机器人策略的泛化能力，结合多任务学习和辅助二进制分类目标，通过卷积神经网络和注意力机制，将交互数据与弱标记的数据集相结合，大大提高了对未知环境的泛化能力。

    Aug, 2017

  • 机器人传感运动预训练学习

    该论文提出了一种自监督的感知动作预训练方法，称为RPT，使用转换器操作传感动作令牌的序列，能够处理latent视觉表示，能够扩展到10倍大型模型，并可在真正的机器人上实现10 Hz的推断。

    Jun, 2023

  • Polybot：在接纳变异性的同时，为多个机器人训练一个策略

    通过重新使用大型数据集，提出在多个机器人平台上训练单一策略的关键设计决策，通过对视觉和动作空间的对齐以及对内部表示的对齐来解决机器人平台之间的领域差异，验证了该方法在不同机器人上收集的新任务数据中成功率和样本效率的显著提升。

    Jul, 2023

  • 大规模预训练视觉表示在模拟和真实环境中的研究：我们从中学到了什么？

    大规模实证研究表明预训练视觉表示（PVRs）的使用对训练执行现实任务的下游策略非常有用，尤其在操作和室内导航任务中表现出明显的性能优势。

    Oct, 2023

  • 关于视觉-动作预训练数据集的客观观察

    通过对机器人的预训练数据集进行集中分析，我们发现常规视觉数据集对于视觉-运动表示学习是竞争力强的选择，此外，预训练数据集的图像分布比其规模更为重要，同时简单的正规化策略可以显著改善真实世界策略学习。

    Oct, 2023

  • 大规模视频生成预训练在视觉机器人操作中的应用

    通过大规模视频生成预训练，我们展示了基于语言条件的视觉机器人操作对于生成预训练模型的有效性扩展，提供了新的证据，显示出在多任务视觉机器人操作中，经过视频生成预训练的统一GPT风格转换器具有显著的泛化能力。

    Dec, 2023

  • PoCo: 来自和为异构机器人学习的政策组合

    从异构数据中训练通用机器人策略，使用Policy Composition方法将不同模态和领域的数据结合起来，学习场景级和任务级的广义操作技能，实现对多任务操作的灵活综合和推理时策略行为的自适应。在模拟和真实世界实验中，该组合策略在不同场景和任务下实现了稳健和灵巧的性能，并优于单个数据源的基线结果。

    Feb, 2024

  • Octo：一个开源的全能机器人策略

    通过预训练泛化策略，本研究试图为机器人操控领域开发广泛适用的开源泛化策略，首次推出 Octo，一个基于大型变换器模型的策略，可通过语言指令或目标图像进行训练，并能够在几小时内在标准消费者 GPU 上对新传感输入和行为空间进行有效微调，这为未来建立泛化机器人模型的研究提供了有价值的经验指导。

    May, 2024

  • 跨体学习的扩展：一个政策用于操控、导航、移动和航空

    本研究解决了机器人学习中数据集小且多样性不足的问题，提出了CrossFormer，一种基于变换器的灵活政策，能够处理任意体形的数据。通过在全球最大和最丰富的数据集上训练，结果表明该模型能够有效控制各种机器人，且性能优于专门针对特定体形的政策，为跨体学习开辟了更广阔的前景。

    Aug, 2024