稀疏扩散策略：一种稀疏、可重复和灵活的机器人学习策略

Jul, 2024

稀疏扩散策略：一种稀疏、可重复和灵活的机器人学习策略

Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning

Yixiao Wang, Yifei Zhang, Mingxiao Huo, Ran Tian, Xiang Zhang...

TL;DR通过引入稀疏的、可重用的、灵活的策略 Sparse Diffusion Policy（SDP），在传统模型中解决了多任务学习和持续学习的高计算成本和灾难性遗忘的挑战，SDP 通过采用基于 transformer 的扩散策略中的 experts 和 skills，实现了选择性激活专家和技能，在不重新训练整个模型的情况下实现了高效的任务特定学习，减少了激活参数的负担，并促进了不同任务中专家的无缝集成和重用，通过对多样任务的广泛实验验证了 SDP 在多任务场景中的优越性，防止了对新任务的遗忘，实现了高效的任务转移，为先进的机器人应用提供了有前景的解决方案。

Abstract

The increasing complexity of tasks in robotics demands efficient strategies for multitask and continual learning. Traditional models typically rely on a universal policy for all tasks, facing challenges such as high computational costs and catastrophic forgetting when learning new task

multitask learning continual learning sparse diffusion policy mixture of experts robotics applications

发现论文，激发创造

三维扩散策略

3D Diffusion Policy (DP3) is a novel visual imitation learning approach that incorporates 3D visual representations to teach robots dexterous skills, demonstrating precise control, high success rates, and excellent generalization abilities, while rarely violating safety requirements in real-world robot learning.

Mar, 2024

等变扩散策略

最近的研究表明扩散模型是学习行为克隆中源自示范数据的多模式分布的有效方法，但该方法的缺点在于需要学习一个比学习明确策略更复杂的降噪函数。在本研究中，我们提出了等变扩散策略，这是一种利用域对称性来获得更高样本效率和泛化性能的新型扩散策略学习方法。我们从理论上分析了完整的 6 自由度控制中的 SO (2) 对称性，并表征了扩散模型何时是 SO (2) 等变的。此外，我们在 MimicGen 的一组 12 个仿真任务上对该方法进行了实证评估，并显示其成功率平均比基线扩散策略高出 21.9%。我们还在一个真实系统上对该方法进行了评估，以表明相对较少的训练样本就可以学习到有效的策略，而基线扩散策略则做不到。

Jul, 2024

扩散策略的变分蒸馏成为专家混合模型

Variational Diffusion Distillation (VDD) 是一种将预训练的扩散模型提取为混合专家模型 (MoE) 的方法，结合了扩散模型的表达能力和混合模型的优势，通过分解性上界的变分目标训练每个专家，从而在复杂行为学习任务中实现了对复杂分布的准确提取，超越了现有的蒸馏方法和传统的 MoE 训练方法。

Jun, 2024

从头学习多模态行为的扩散策略梯度

本研究提出了深度扩散策略梯度（DDiffPG）算法，它能够学习参数化为扩散模型的多模态策略，并通过聚类和内在动机探索来发现和维持多样化行为，同时减少强化学习的贪婪性质，实现了模态之间的均衡改善以及对学习模态的显式控制。经验证明，该算法在复杂的高维连续控制任务中能够掌握多模态行为，并展示了在导航未知障碍迷宫中的动态在线重新规划的概念验证。

Jun, 2024

通过扩散行为对得分正则化策略优化

我们提出了一种从评论家模型和预训练的扩散行为模型中有效地提取确定性推理策略的方法，利用后者在优化过程中直接规范化行为分布的评分函数，从而在训练和评估期间完全避免计算密集型和耗时的扩散采样方案，扩散建模的强大生成能力使我们的方法在 D4RL 任务上将行动采样速度提高了 25 倍以上，同时仍保持着最先进的性能。

Oct, 2023

TEDi 策略：时域纠缠扩散用于机器人控制

使用 Temporally Entangled Diffusion (TEDi) 框架，改进基于扩散的策略提取和训练，在保持性能的同时大幅提升采样速度。

Jun, 2024

利用扩散概率模型表示策略的强化学习

本文利用扩散概率模型提出了一种新的随机策略表示方法，并证明了它对于多模态分布的优越性，进而应用到无模型在线强化学习中，提出 DIPO 算法，在标准连续控制 Mujoco 基准中取得了显著优势。

May, 2023

高效深度强化学习的概率混合专家模型

本研究提出了一种基于高斯混合模型的概率混合专家策略，以及一种新的用于解决策略不可区分性问题的梯度估计器，成功应用于通用离线策略和在线策略深度强化学习算法，实验结果表明该方法在包括探索在内的多个方面优于单模态策略、其他混合专家策略和选项框架方法，学习出的元素能够区分，具有更好的学习效率和性能。

Apr, 2021

层次扩散策略对运动学感知多任务机器人操作

介绍了一种名为 Hierarchical Diffusion Policy (HDP) 的多任务机器人操作策略，包括分层结构、任务规划、运动轨迹和运动规划中的运动学感知控制。实验证明，HDP 在模拟和实际环境中的成功率显著高于现有方法。

Mar, 2024

3D 扩散行为者：带有 3D 场景表示的策略扩散

我们结合扩散策略和 3D 场景表示来实现机器人操纵，提出了一种名为 3D Diffuser Actor 的神经策略体系结构，它在给定语言指令的情况下构建视觉场景的 3D 表示，并在此基础上迭代性地对机器人的末端执行器进行 3D 旋转和平移噪声去除。通过实验验证，我们的模型在机器人学习领域取得了显著的性能提升。

Feb, 2024