Nov, 2024

DexDiffuser：针对自适应灵巧操作的交互-aware扩散规划

HTML
PDF
TL;DR本研究解决了现有扩散规划方法在复杂交互中的适应性不足和虚假状态产生的问题。我们提出的DexDiffuser框架通过双阶段扩散过程建模联合状态-动作动态，结合大语言模型生成的自动化引导功能，实现了对物理交互的高通用性和多样化目标的适应。实验表明，DexDiffuser在多个任务中成功率显著优于现有方法，展示了其在接触丰富操作中的鲁棒性和灵活性。
发现论文，激发创造
  • 从范例物体轨迹和预抓取中学习熟练的操作技能

    本文介绍了一个基于 Pre-Grasp 的框架，可以生成各种不同的巧妙操作行为，无需特定任务的推理或超参数调整，并通过 TCDM 基准验证了其有效性。

    Sep, 2022

  • DexDeform: 通过人类演示和可微分物理实现灵巧的可变形物体操作

    本文提出了DexDeform，这是一种从人类示范中抽象出熟练操作技能并通过可微分物理学进行改进的原则性框架，该框架旨在学习多指手指对可变形物体的熟练操作，并通过新颖的探索策略以及基于想象的行动计划来提高操作的成功率。

    Mar, 2023

  • 连续灵巧性：将灵巧策略链接起来实现长程操纵

    基于强化学习的连续灵巧系统，通过链式连接多个灵巧策略来实现长期目标，克服了任务空间维度高和复杂的动力学组合的挑战，并且能够在现实世界中应用于装备有灵巧手的机器人。

    Sep, 2023

  • DexCatch：学习利用灵巧手方式抓取任意物体

    我们提出了一种稳定约束强化学习算法（SCRL）来学习用灵巧的手抓取各种物体。该算法在基线算法上表现出色，并且学得的策略在未见物体上显示出强大的零样本迁移性能。值得注意的是，即使手中端面朝侧面的物体由于缺乏手掌的支持而极不稳定，我们的方法在最具挑战性的任务中仍然能够达到很高的成功率。可在补充网站上找到学习行为的视频演示和代码。

    Oct, 2023

  • DexDiffuser: 使用扩散模型生成熟练抓取

    DexDiffuser是一种新颖的灵巧抓取方法，它基于局部物体点云生成、评估和优化抓取。通过迭代去噪随机采样抓取，DexDiffuser实现了基于条件扩散的抓取采样器DexSampler和灵巧抓取评估器DexEvaluator。研究中还引入了两种抓取优化策略：评估器导向扩散（EGD）和基于评估器的采样优化（ESR）。仿真和实际实验结果表明，DexDiffuser的抓取成功率平均提高了21.71-22.20%相对于最先进的多指抓取生成方法FFHNet。

    Feb, 2024

  • 机器人机械臂设计中的动力学指导扩散模型

    通过Dynamics-Guided Diffusion Model生成操纵性机器人的几何设计，利用目标交互配置来指导设计优化过程以及加强数据驱动方法在机器人结构设计中的应用。

    Feb, 2024

  • D-Cubed: 灵巧可塑操作的潜在扩散轨迹优化

    利用潜在扩散模型进行机器人灵巧可变形物体操控的轨迹优化，通过渐变自由引导采样方法和反扩散过程，发现并优化可行解，显著超越传统的轨迹优化和竞争基准方法。

    Mar, 2024

  • 视觉-语言-动作模型与扩散策略切换实现类人手灵巧控制

    本研究解决了自主灵巧操作中的模型切换问题。通过结合视觉-语言-动作(VLA)模型与扩散模型，提出了一种新颖的混合控制方法，实现高层次语言指令规划与低层次精确操作间的灵活切换。实验结果表明，该方法在抓取和放置任务中成功率超过80%，显著优于仅使用VLA模型时不到40%的成功率。

    Oct, 2024

  • 从示范中学习扩散策略以实现顺应接触密集的操作

    本研究针对机器人在接触密集和动态环境中缺乏人类灵活性的问题，提出了一种名为DIPCOM的扩散策略框架，用于顺应控制任务。通过多模态分布建模和生成扩散模型，该方法有效提高了机器人在任务中的力控制能力，并在真实任务中验证了其有效性。

    Oct, 2024

  • DexMimicGen：通过模仿学习进行双手灵巧操作的自动数据生成

    本研究解决了机器人在进行双手灵巧操作时数据获取瓶颈的问题，尤其是同时控制多个手臂和多指手部的挑战。我们提出了DexMimicGen，这是一个大规模的自动数据生成系统，可以从少量人类示范中合成轨迹。研究发现，该方法能够有效提升机器人在各种操作任务中的性能，具有重要的实用价值。

    Oct, 2024