Sep, 2024

利用异质预训练变换器扩展自我感知与视觉学习

HTML
PDF
TL;DR本研究解决了当前机器人模型训练中的异质性问题，通过在不同的机器人数据和任务上进行异质预训练，提出了一种新的Heterogeneous Pre-trained Transformers (HPT)架构。该方法有效对齐了不同机器人身体姿态的输入，从而在多个任务中显著提高了策略的表现，尤其是在未见任务上的效率超过20%。
发现论文，激发创造
  • 多任务和多机器人迁移学习的模块化神经网络策略学习

    本研究主要关注于如何使用深度增强学习的方法，通过神经网络策略来训练机器人获取新的技能。同时，通过迁移学习，可以实现技能和机器人之间的信息共享，从而使用mix-and-match模块来解决新的机器人环境和任务组合的问题。

    Sep, 2016

  • 机器人传感运动预训练学习

    该论文提出了一种自监督的感知动作预训练方法，称为RPT，使用转换器操作传感动作令牌的序列，能够处理latent视觉表示，能够扩展到10倍大型模型，并可在真正的机器人上实现10 Hz的推断。

    Jun, 2023

  • 大规模预训练视觉表示在模拟和真实环境中的研究：我们从中学到了什么？

    大规模实证研究表明预训练视觉表示（PVRs）的使用对训练执行现实任务的下游策略非常有用，尤其在操作和室内导航任务中表现出明显的性能优势。

    Oct, 2023

  • 关于视觉-动作预训练数据集的客观观察

    通过对机器人的预训练数据集进行集中分析，我们发现常规视觉数据集对于视觉-运动表示学习是竞争力强的选择，此外，预训练数据集的图像分布比其规模更为重要，同时简单的正规化策略可以显著改善真实世界策略学习。

    Oct, 2023

  • 大规模视频生成预训练在视觉机器人操作中的应用

    通过大规模视频生成预训练，我们展示了基于语言条件的视觉机器人操作对于生成预训练模型的有效性扩展，提供了新的证据，显示出在多任务视觉机器人操作中，经过视频生成预训练的统一GPT风格转换器具有显著的泛化能力。

    Dec, 2023

  • PoCo: 来自和为异构机器人学习的政策组合

    从异构数据中训练通用机器人策略，使用Policy Composition方法将不同模态和领域的数据结合起来，学习场景级和任务级的广义操作技能，实现对多任务操作的灵活综合和推理时策略行为的自适应。在模拟和真实世界实验中，该组合策略在不同场景和任务下实现了稳健和灵巧的性能，并优于单个数据源的基线结果。

    Feb, 2024

  • Octo：一个开源的全能机器人策略

    通过预训练泛化策略，本研究试图为机器人操控领域开发广泛适用的开源泛化策略，首次推出 Octo，一个基于大型变换器模型的策略，可通过语言指令或目标图像进行训练，并能够在几小时内在标准消费者 GPU 上对新传感输入和行为空间进行有效微调，这为未来建立泛化机器人模型的研究提供了有价值的经验指导。

    May, 2024

  • 跨体学习的扩展：一个政策用于操控、导航、移动和航空

    本研究解决了机器人学习中数据集小且多样性不足的问题，提出了CrossFormer，一种基于变换器的灵活政策，能够处理任意体形的数据。通过在全球最大和最丰富的数据集上训练，结果表明该模型能够有效控制各种机器人，且性能优于专门针对特定体形的政策，为跨体学习开辟了更广阔的前景。

    Aug, 2024

  • 机器人预训练机器人：基于大规模机器人数据集的操作中心化机器人表示

    本研究解决了机器人学习中缺乏大规模领域内数据集的问题。我们提出了一种名为操作中心化表示（MCR）的框架，通过结合视觉特征和任务动态信息，显著提高了机器人操作任务的成功率。实验证明，MCR在模拟和现实任务中的性能提高超过14%和76%，展示了其在高效学习中的潜在影响。

    Oct, 2024

  • 机器人预训练机器人：基于大规模机器人数据集的操作中心机器人表示

    本研究解决了机器人学习中缺乏大规模领域特定数据集的问题。提出了一种新的操作中心表示（MCR）框架，通过捕捉操作任务的视觉特征和动态信息来提高表现，实验证明MCR在多个模拟领域的任务中表现超越基线方法14.8%，并在现实世界任务中提升性能76.9%。

    Oct, 2024