Jul, 2024

等变扩散策略

HTML
PDF
TL;DR最近的研究表明扩散模型是学习行为克隆中源自示范数据的多模式分布的有效方法，但该方法的缺点在于需要学习一个比学习明确策略更复杂的降噪函数。在本研究中，我们提出了等变扩散策略，这是一种利用域对称性来获得更高样本效率和泛化性能的新型扩散策略学习方法。我们从理论上分析了完整的6自由度控制中的SO(2)对称性，并表征了扩散模型何时是SO(2)等变的。此外，我们在MimicGen的一组12个仿真任务上对该方法进行了实证评估，并显示其成功率平均比基线扩散策略高出21.9%。我们还在一个真实系统上对该方法进行了评估，以表明相对较少的训练样本就可以学习到有效的策略，而基线扩散策略则做不到。
发现论文，激发创造
  • 作为离线强化学习表现策略类别的扩散策略

    本文提出了一种利用扩散模型表示策略的离线强化学习方法(Diffusion Q-learning)，与行为克隆和策略改进的耦合均有助于实现出色的性能，证明了该方法在大多数D4RL基准任务中表现出卓越的性能。

    Aug, 2022

  • 在具有潜在对称性的领域中，等变模型的惊人有效性

    通过研究发现，即使强制施加不完全匹配于领域对称性的equivariance约束，也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加extrinsic symmetry的情况下，在具有潜在对称性的领域中，equivariant model的表现优于non-equivariant方法。

    Nov, 2022

  • 通过奖励引导探索实现可控扩散模型

    本文提出了一种名为RGDM的模型，通过强化学习（RL）引导扩散模型的训练阶段，从而实现对样本生成的控制。在3D形状和分子生成任务上的实验表明，该模型相较于现有的条件扩散模型具有显著的改进。

    Apr, 2023

  • 去噪扩散模型和抽样器的表达能力注记

    本论文探讨将随机控制方法运用于泛化的去噪扩散模型及样本生成中，并尝试将现有的神经网络近似方法应用于去噪扩散模型及样本生成中。

    May, 2023

  • Diffusion-EDFs: SE(3)上的双等变去噪生成建模，用于视觉机器人操作

    本文介绍了Diffusion-EDFs，一种新颖的方法，将SE(3)-等变性（roto-translation equivariance）引入扩散生成模型中，展示出了卓越的数据效率，只需要5至10个任务演示进行有效的端到端训练，并且相比以前的基于扩散的操作方法，具有更好的泛化能力。

    Sep, 2023

  • 通过扩散行为对得分正则化策略优化

    我们提出了一种从评论家模型和预训练的扩散行为模型中有效地提取确定性推理策略的方法，利用后者在优化过程中直接规范化行为分布的评分函数，从而在训练和评估期间完全避免计算密集型和耗时的扩散采样方案，扩散建模的强大生成能力使我们的方法在D4RL任务上将行动采样速度提高了25倍以上，同时仍保持着最先进的性能。

    Oct, 2023

  • 基于插值的策略扩散行为细化

    这篇论文通过使用信息源策略，提出了一种名为BRIDGER的方法，在模仿学习任务中优于现有的扩散策略，并在设计方面进行了进一步分析。

    Feb, 2024

  • 结构保持扩散模型

    最近几年扩散模型已成为主要的分布学习方法。本文介绍了一种称为结构保持扩散过程的扩散模型系列，用于学习具有额外结构特征（例如群对称性）的分布。该研究通过开发理论条件，使扩散转移步骤保持所述对称性，从而使得数据采样轨迹具有等变性。我们以开发一系列不同对称等变的扩散模型来验证这些结果，并能够学习具有固有对称性的分布。通过在合成和真实数据集上进行实证研究，我们验证了所提出的模型符合提出的理论，并在样本均等性方面能够实现比现有方法更好的性能。我们还展示了如何使用所提出的模型，在不事先了解图像方向的情况下实现理论上有保证的等变图像降噪。

    Feb, 2024

  • EquiBot: 适应SIM(3)-等变扩散策略的通用且高效学习

    我们提出EquiBot，一种稳健、数据高效和具有广泛适用性的机器人操作任务学习方法，结合SIM(3)-等变神经网络架构和扩散模型，从有限的数据中学习并在不同环境中泛化。

    Jul, 2024

  • ET-SEED：高效的轨迹级SE(3)等变扩散策略

    本研究解决了模仿学习中对广泛示例依赖的问题，提出ET-SEED这一高效轨迹级SE(3)等变扩散模型，以生成复杂机器人操作任务中的动作序列。通过理论扩展等变马尔可夫核并简化等变扩散过程的条件，显著提高了策略的训练效率，并在多种机器人操作任务中表现出优越的数据效率和操作能力。

    Nov, 2024