机器人扩散变换器的关键要素
学习轨迹分布的先验信息可以帮助加速机器人运动规划优化,本工作提出了学习扩散模型作为先验信息的方法,并通过扩散模型的逆去噪过程在任务目标条件下直接从后验轨迹分布中进行采样,实验证明扩散模型是编码高维机器人运动轨迹分布的强先验。
Aug, 2023
通过结合条件序列建模和技能模块化,我们提出了Skill Transformer方法,用于解决长期规划的机器人任务,并通过Transformer架构和演示轨迹对高级技能和低级动作进行端到端训练,并通过技能预测模块保持整体任务的组合性和模块化,同时考虑低级动作并避免常见的模块化方法中的交接错误。在具有挑战性的重新排列问题中,我们对Skill Transformer进行了测试,发现其在新场景中执行稳健的任务规划和低级控制,并在成功率上比基线提高了2.5倍。
Aug, 2023
通过Dynamics-Guided Diffusion Model生成操纵性机器人的几何设计,利用目标交互配置来指导设计优化过程以及加强数据驱动方法在机器人结构设计中的应用。
Feb, 2024
本文研究了传统变换器在机器人学习中的不足,提出了身体变换器(BoT)架构,通过将机器人身体表示为传感器和执行器的图,利用遮蔽注意力优化学习过程。研究表明,BoT在任务完成、扩展性和计算效率方面优于传统变换器和多层感知器,具有重要的应用潜力。
Aug, 2024
本研究解决了机器人学习中数据集小且多样性不足的问题,提出了CrossFormer,一种基于变换器的灵活政策,能够处理任意体形的数据。通过在全球最大和最丰富的数据集上训练,结果表明该模型能够有效控制各种机器人,且性能优于专门针对特定体形的政策,为跨体学习开辟了更广阔的前景。
Aug, 2024
本研究解决了双手操作中机器人手臂协调的复杂性以及训练数据不足的问题。提出了机器人扩散变换器(RDT),这是一个创新的扩散基础模型,能够有效表示多模态,并创建了统一的物理可解释动作空间以解决数据稀缺。实验表明,RDT在各种复杂任务中表现显著优于现有方法,具备零-shot泛化能力,能够理解语言指令,且仅需少量示例学习新技能。
Oct, 2024
本研究解决了现有扩散政策在性能与行动时间范围之间的权衡问题,提出了一种新颖的潜在权重扩散方法(LWD),通过在潜在空间中学习策略分布,以生成更小的策略网络并减少推理查询。实验表明,在Metaworld MT10基准上,LWD在实现更高成功率的同时,推理模型规模可减少约18倍,且在较长行动时间范围内表现优于传统扩散政策。
Oct, 2024
本研究解决了现有视觉-语言动作模型在处理多样化动作空间时的能力不足问题,通过引入一种名为扩散变换器策略的大型多模态变换器模型,直接对动作段进行去噪。结果表明,该方法在各种机器人数据集上实现了更优的泛化性能,尤其在实际应用中如Franka臂上表现突出,显著提升了任务完成率。
Oct, 2024
本研究针对机器人在接触密集和动态环境中缺乏人类灵活性的问题,提出了一种名为DIPCOM的扩散策略框架,用于顺应控制任务。通过多模态分布建模和生成扩散模型,该方法有效提高了机器人在任务中的力控制能力,并在真实任务中验证了其有效性。
Oct, 2024