Jun, 2024

ManiCM: 实时三维扩散策略通过一致性模型用于机器人操纵

PDF
TL;DR我们提出了一种名为 ManiCM 的实时机器人操作模型，该模型通过在扩散过程中施加一致性约束来生成机器人动作，以实现仅进行一步推理。通过在机器人动作空间中制定一致的扩散过程和点云输入条件下对原始动作进行直接降噪操作，我们设计了一种一致性蒸馏技术来直接预测动作样本，而不是预测视觉领域中的噪声，以在低维动作流形中实现快速收敛。我们在 Adroit 和 Metaworld 的 31 个机器人操作任务上评估了 ManiCM 的性能，结果表明我们的方法平均推理速度提高了 10 倍，同时保持具有竞争力的平均成功率。
diffusion modelsreal-time robotic manipulationconsistency constraintaction sampleinference speed
发现论文，激发创造
  • 可控的运动扩散模型

    该研究提出了一种基于扩散模型的可控运动扩散模型 (COMODO) 框架，通过强化学习控制器和控制策略，实现了对虚拟角色的实时、多样化运动生成，可以适应用户的实时命令，同时还可以预测更多多样化的动作。

    Jun, 2023

  • 机器人机械臂设计中的动力学指导扩散模型

    通过 Dynamics-Guided Diffusion Model 生成操纵性机器人的几何设计，利用目标交互配置来指导设计优化过程以及加强数据驱动方法在机器人结构设计中的应用。

    Feb, 2024

  • 图像操作的一般性一致轨迹模型

    本文介绍了扩散式生成模型的成功之处以及其与一般 CTMs 和 GCTMs 的关系，并证明了 GCTMs 在图像操纵任务中的有效性。

    Mar, 2024

  • 双向一致性模型

    扩散模型及一致性模型结合的双向一致性模型能够通过学习单个神经网络在概率流常微分方程上实现向前和向后遍历，从而实现一步生成和反演，且可用额外步骤提高生成质量或减少重建误差，并在插值、修复等下游任务中展现出强大的能力，包括恢复压缩图像和抵御黑盒对抗攻击。

    Mar, 2024

  • 一致性轨迹模型：学习扩散的概率流动 ODE 轨迹

    一篇研究论文介绍了一种名为 Consistency Trajectory Model（CTM）的模型，能够在扩散过程中进行无限制的时间遍历，并通过使用梯度评分和增强性对抗训练来提高性能，实现了在 CIFAR-10 和 ImageNet 上的高质量采样和新的最先进指标。

    Oct, 2023

  • 一种简化的一致性模型

    一种训练一致性模型的替代方案，通过表达常态模型轨迹的微分方程，提高训练效率，并显示出经典的幂律缩放规律。

    Jun, 2024

  • MotionLCM：基于潜变一致性模型的实时可控动作生成

    基于 MotionLCM 模型，作者提出了一种能够实时生成可控运动的方法，通过引入运动潜在一致性模型（MotionLCM）和使用运动控制网络，实现了对文本和控制信号的实时生成和控制，在保持运行效率的同时展现出了出色的生成和控制能力。

    Apr, 2024

  • 面向意图的去噪扩散模型的轨迹预测

    使用散射模型生成多个合理的未来轨迹分布，通过解决时间消耗和意图不确定性的问题，能够提高推理速度并实现更少的扩散步骤。

    Mar, 2024

  • 受限域的扩散模型

    本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形，包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量，在合成和真实任务中进行了实证表明，包括蛋白质骨架和机器人臂运动的约束构象模拟。

    Apr, 2023

  • RoHM: 应用扩散方法实现稳健的人体动作重建

    通过 RoHM 方法，在存在噪声和遮挡的单目 RGB (-D) 视频中，实现鲁棒的 3D 人体运动重建。将问题分解为全局轨迹和局部动作两个子任务，并引入了一个新的条件模块来捕捉两者之间的相关性，并结合迭代推理机制。在三个常用数据集上进行了大量实验，证明该方法在质量和数量上优于现有方法，并在测试时间上更快。

    Jan, 2024