Feb, 2023

DiSProD: 可微分的分布符号传播规划方法

PDF
TL;DR该论文介绍了 DiSProD，它是一种为具有连续状态和动作空间中的概率转移的环境开发的在线规划器，该规划器建立符号图，捕获未来轨迹的分布，该分布已给定策略，并使用独立性假设和分布的近似传播。该方法在处理随机环境、搜索深度敏感性、奖励稀疏性和大动作空间方面均优于现有规划器，并在地面车辆和船只上的实验中得到验证。
发现论文，激发创造
  • 一种新的动态分布式规划方法：应用于 DPDP 问题

    本研究提出了一种新的动态分布式规划方法，能够考虑智能体引入的动作变化，以适应环境中的变化。该方法使用遗传算法满足约束条件生成新的规划，每当智能体的动作集发生变化时，就会生成一个新的规划，使其考虑新引入的动作及旧规划中未执行的动作，以及新引入动作引起的新初始状态。通过具体案例展示并证明了该方法的实用性。

    Feb, 2024

  • 利用扩散概率模型表示策略的强化学习

    本文利用扩散概率模型提出了一种新的随机策略表示方法，并证明了它对于多模态分布的优越性，进而应用到无模型在线强化学习中，提出 DIPO 算法，在标准连续控制 Mujoco 基准中取得了显著优势。

    May, 2023

  • 基于模型的规划提炼出有理论保证的策略改进

    通过开发一种从基于模型的规划到策略的蒸馏方法，我们扩展了软负责人 - 评论者算法（SAC）的策略改进步骤，并证明了这种方法在改进过程中具有单调性和收敛性的理论保证。

    Jul, 2023

  • 教学视频中的过程规划：PDPP 算法

    研究了指导视频中的过程规划问题，使用扩散模型进行分布拟合，从中采样操作序列达到规划目标，并在三个数据集上验证了其优于当前方法的性能表现。

    Mar, 2023

  • 非马可夫环境中的政策分歧

    本文提出了一个基于 transformer 的策略扩散方案，从状态 - 动作对历史数据学习不同的策略，以解决在非马尔可夫环境中由于长时历史数据和奖励的关联性导致的策略相似、过拟合等问题。实验结果表明，该策略扩散方案在多个学习环境下获得了比最近的学习基线更为稳健的性能。

    Feb, 2023

  • 层次扩散策略对运动学感知多任务机器人操作

    介绍了一种名为 Hierarchical Diffusion Policy (HDP) 的多任务机器人操作策略，包括分层结构、任务规划、运动轨迹和运动规划中的运动学感知控制。实验证明，HDP 在模拟和实际环境中的成功率显著高于现有方法。

    Mar, 2024

  • 利用扩散计划实现灵活的行为合成

    本文通过扩展动力学模型，利用扩散概率模型去掉了传统轨迹优化方法的瓶颈，将采样和计划步骤近乎完全融合，通过分类器和图像插值获得了在线规划策略，并在长期决策和测试时间灵活性强的控制环境中成功应用了该框架。

    May, 2022

  • 离散与连续状态 MDP 的符号动态规划

    本文介绍了符号动态规划（SDP）技术的扩展，提供了一种能够处理离散和连续状态的马尔可夫决策过程（DC-MDP）的最优解决方案，在 XADD 中引入约束基剪枝以提高效率。SDP 与 XADD 用于声明性问题的自动规划，从而实现在 DC-MDP 的线性和非线性函数中生成最优解决方案。

    Feb, 2012

  • SPUDD：使用决策图的随机计划

    本研究提出了一种基于代数决策图来表示价值函数和策略的 Markov 决策过程的值迭代算法，并将其应用于波西网络和 ADDs 表示的大规模 MDPs 中，相较于树形结构表示方式大幅降低了节点数量。

    Jan, 2013

  • 基于模型的离散和连续行动规划

    本文介绍了一种使用前向模型的行动计划方法，在离散动作空间中通过反向传播实现规划，使用参数化的动作向量和输入噪声，同时使用策略蒸馏方法，性能优于模型自由 RL 和离散计划方法，可以应用于离散和连续动作空间的模型控制任务。

    May, 2017