May, 2024

一致性策略：通过一致性蒸馏加速视觉动作策略

PDF
TL;DR通过一项快速推断的 Consistency Policy 方法，本研究提出了一种在资源受限的机器人系统中实现低延迟决策的有效替代 Diffusion Policy 的学习视觉动作控制方法。通过在已训练的 Diffusion Policy 中强制实施自我一致性，从而获得 Consistency Policy，并在六个仿真任务和两个真实世界任务上与 Diffusion Policy 和其他相关加速方法进行比较，结果显示 Consistency Policy 相比其他方法可以提高一个数量级的推断速度并保持竞争性的成功率。
发现论文，激发创造
  • 一种丰富且高效的强化学习策略类别：一致性模型

    我们提出了一种用于离线、离线到在线和在线三种典型强化学习设置的高效且表达力强的策略表示方法，称为一致性策略，以一种演员 - 评论家风格的算法应用连续模型，展现了其在多模态数据、计算效率和性能方面的优势。

    Sep, 2023

  • 使用一致性策略提升连续控制

    通过一步将噪声转化为动作，我们提出了一种名为 CPQL 的新型时间效率方法，解决了扩散模型在更新时的时间效率和准确性指导方面的问题，从而实现了脱机强化学习的策略改进，并可以无缝地扩展到在线强化学习任务中，最终实验结果表明，CPQL 在 11 个脱机任务和 21 个在线任务中取得了新的最高性能，推理速度相比 Diffusion-QL 提高了近 45 倍。

    Oct, 2023

  • ManiCM: 实时三维扩散策略通过一致性模型用于机器人操纵

    我们提出了一种名为 ManiCM 的实时机器人操作模型，该模型通过在扩散过程中施加一致性约束来生成机器人动作，以实现仅进行一步推理。通过在机器人动作空间中制定一致的扩散过程和点云输入条件下对原始动作进行直接降噪操作，我们设计了一种一致性蒸馏技术来直接预测动作样本，而不是预测视觉领域中的噪声，以在低维动作流形中实现快速收敛。我们在 Adroit 和 Metaworld 的 31 个机器人操作任务上评估了 ManiCM 的性能，结果表明我们的方法平均推理速度提高了 10 倍，同时保持具有竞争力的平均成功率。

    Jun, 2024

  • 一个高效的通用化视觉动作策略框架：基于控制感知增强和特权引导蒸馏

    通过数据增强来解决在学习高维视觉观察中适应新环境及复杂视觉变化所面临的泛化问题，提出了学习控制感知掩码的方法以及通过预先训练的强化学习专家将知识传输给学生视觉动作策略来解决训练不稳定性问题。

    Jan, 2024

  • 策略蒸馏

    本文介绍了一种称为 Policy Distillation 的新方法，它可以从强化学习代理中提取策略并训练出一个性能表现优异的、更小而且更高效的网络。同时，这种方法还可以将多个任务特定策略合并为一个策略并应用到 Atari 游戏中，在实验中，这个多任务提炼代理的表现要比单任务老师或联合训练的 DQN 代理更优秀。

    Nov, 2015

  • 三维扩散策略

    3D Diffusion Policy (DP3) is a novel visual imitation learning approach that incorporates 3D visual representations to teach robots dexterous skills, demonstrating precise control, high success rates, and excellent generalization abilities, while rarely violating safety requirements in real-world robot learning.

    Mar, 2024

  • PoCo: 来自和为异构机器人学习的政策组合

    从异构数据中训练通用机器人策略，使用 Policy Composition 方法将不同模态和领域的数据结合起来，学习场景级和任务级的广义操作技能，实现对多任务操作的灵活综合和推理时策略行为的自适应。在模拟和真实世界实验中，该组合策略在不同场景和任务下实现了稳健和灵巧的性能，并优于单个数据源的基线结果。

    Feb, 2024

  • 机器人操作任务的多摄像头视角到单摄像头视角知识蒸馏的视觉策略学习

    本文提出了一种通过知识蒸馏和数据增强强化单摄像头视角下机器人操作任务的强化学习算法的方法，在模拟和现实环境下进行了实验验证并取得了良好效果。

    Mar, 2023

  • 训练一致性模型的改进技术

    一步法生成模型中的一种家族为一次生成高质量数据提供了新的方法，通过改进的一致性训练技术，该研究提出了克服预训练模型局限性以及避免评估偏差的方法，并在 CIFAR-10 和 ImageNet 数据集上表现出了显著的改进。

    Oct, 2023

  • 跨通道传播：通过自监督学习改善基于扩散的视觉运动策略

    本文提出了 Crossway Diffusion 方法，在扩展 Diffusion-based policy 学习过程中利用自我监督学习的目标，以提高视觉运动策略学习的效果，并在各种模拟和实际机器人任务中证明了其优势。

    Jul, 2023