Oct, 2024

RDT-1B：用于双手操作的扩散基础模型

HTML
PDF
TL;DR本研究解决了双手操作中机器人手臂协调的复杂性以及训练数据不足的问题。提出了机器人扩散变换器（RDT），这是一个创新的扩散基础模型，能够有效表示多模态，并创建了统一的物理可解释动作空间以解决数据稀缺。实验表明，RDT在各种复杂任务中表现显著优于现有方法，具备零-shot泛化能力，能够理解语言指令，且仅需少量示例学习新技能。
发现论文，激发创造
  • 利用语义想象经验扩展机器人学习

    该研究提出一种基于文本至图像转换的数据扩充方法，命名为ROSIE，通过在现有的机器人操作数据集上应用文本引导扩充数据的方法，我们可以在新的场景和任务中实现更好的机器人操作性能和鲁棒性。

    Feb, 2023

  • RH20T: 用于一次学习多样技能的机器人数据集

    本研究旨在解锁机器人实现多模感知的能力，以通过单次模仿学习技术普及各种真实世界技能，通过收集千万级别的真实世界接触式机器人操作记录构建的开源数据集提高任务和动作规划的性能。

    Jul, 2023

  • Diffusion-EDFs: SE(3)上的双等变去噪生成建模，用于视觉机器人操作

    本文介绍了Diffusion-EDFs，一种新颖的方法，将SE(3)-等变性（roto-translation equivariance）引入扩散生成模型中，展示出了卓越的数据效率，只需要5至10个任务演示进行有效的端到端训练，并且相比以前的基于扩散的操作方法，具有更好的泛化能力。

    Sep, 2023

  • 机器人机械臂设计中的动力学指导扩散模型

    通过Dynamics-Guided Diffusion Model生成操纵性机器人的几何设计，利用目标交互配置来指导设计优化过程以及加强数据驱动方法在机器人结构设计中的应用。

    Feb, 2024

  • ManiCM: 实时三维扩散策略通过一致性模型用于机器人操纵

    我们提出了一种名为ManiCM的实时机器人操作模型，该模型通过在扩散过程中施加一致性约束来生成机器人动作，以实现仅进行一步推理。通过在机器人动作空间中制定一致的扩散过程和点云输入条件下对原始动作进行直接降噪操作，我们设计了一种一致性蒸馏技术来直接预测动作样本，而不是预测视觉领域中的噪声，以在低维动作流形中实现快速收敛。我们在Adroit和Metaworld的31个机器人操作任务上评估了ManiCM的性能，结果表明我们的方法平均推理速度提高了10倍，同时保持具有竞争力的平均成功率。

    Jun, 2024

  • PerAct2: 一个面向双手操作任务的感知器执行框架

    扩展RLBench以进行双手操作的模拟基准测试，提供13项新任务和23个独特的任务变体，其中每个任务要求高度的协调和适应性。通过引入多种先进方法和PerAct2语言条件行为克隆代理，实现语言处理与动作预测的高效集成，使机器人能够理解和执行用户指定目标的复杂双手任务。

    Jun, 2024

  • VoxAct-B: 基于体素的双手操作与稳定策略

    VoxAct-B是一种基于语言驱动的基于体素的方法，通过利用视觉语言模型（VLMs）优先考虑场景中的关键区域并重建一个体素网格，在仿真和真实世界的实验中，VoxAct-B在精细双臂操纵任务上表现优异，实现了更高效的策略学习。

    Jul, 2024

  • 机器人扩散变换器的关键要素

    本研究针对如何有效结合高容量变换器网络架构与生成扩散模型的设计选择问题展开探索。通过改进关键架构设计，提出了一种新型架构\method，该架构在解决长时间跨度的灵巧任务方面显著超越了现有的最先进技术，显示出优秀的扩展性能，未来将推动机器人学习技术的发展。

    Oct, 2024

  • 扩散变换器策略

    本研究解决了现有视觉-语言动作模型在处理多样化动作空间时的能力不足问题，通过引入一种名为扩散变换器策略的大型多模态变换器模型，直接对动作段进行去噪。结果表明，该方法在各种机器人数据集上实现了更优的泛化性能，尤其在实际应用中如Franka臂上表现突出，显著提升了任务完成率。

    Oct, 2024

  • 机器人预训练机器人：基于大规模机器人数据集的操作中心机器人表示

    本研究解决了机器人学习中缺乏大规模领域特定数据集的问题。提出了一种新的操作中心表示（MCR）框架，通过捕捉操作任务的视觉特征和动态信息来提高表现，实验证明MCR在多个模拟领域的任务中表现超越基线方法14.8%，并在现实世界任务中提升性能76.9%。

    Oct, 2024