NIPSOct, 2015

通过随机值梯度学习连续控制策略

PDF
TL;DR本文提出了一种使用反向传播学习连续控制策略的统一框架，并通过将贝尔曼方程中的随机性视为外源噪声的确定性函数，来支持随机控制。结果是一系列从有值函数的无模型方法到无值函数的有模型方法的通用策略梯度算法谱。我们使用学习模型，但只需要来自环境的观察而不是模型预测轨迹的观察，最大程度地减少复合模型错误的影响。我们首先将这些算法应用于一个玩具随机控制问题，然后在模拟中将其应用于几个基于物理的控制问题。其中一种变体 SVG（1）显示了在连续领域同时学习模型，价值函数和策略的有效性。
continuous control policiesstochastic controlpolicy gradient algorithmsmodel-free methodsmodel-based methods
发现论文，激发创造
  • 基于模型的随机价值梯度在连续强化学习中的应用

    本文探讨了基于模型的强化学习与基于模型的无模型强化学习的综合应用方法，发现在高维控制任务中，基于模型的策略评估方法比传统方法更有效。

    Aug, 2020

  • 用随机策略梯度学习最优确定性策略

    通过比较基于动作和基于参数的探索，本论文介绍了一种理论框架以及对全局收敛性的研究，用于理解强化学习中连续问题的策略梯度方法，可以通过学习确定性策略来优化采样复杂度和性能之间的权衡。

    May, 2024

  • 使用前向 - 后向 SDE 学习深度随机最优控制策略

    本文提出了一种基于非线性随机最优控制理论、应用数学和机器学习的不确定性决策制定新方法。我们开展了一项控制框架的研究，旨在解决机器人和自主决策问题中的不确定性，并提出了一种深度神经网络架构用于随机控制。在仿真非线性系统中，我们研究了所提算法的性能和可扩展性，并讨论了未来的研究方向及其对机器人技术的影响。

    Feb, 2019

  • 使用广义优势估计进行高维连续控制

    本文探讨了如何使用深度神经网络和政策梯度方法，通过数值函数和置信区间优化解决了强化学习中大量样本和非稳定性问题，取得了在高难度 3D 运动任务中显著的实证结果。

    Jun, 2015

  • 基于轨迹的离线深度强化学习

    本文提出一种改进的基于 policy gradient 的强化学习算法，通过在参数空间中探索、重用过去的 off-policy 数据和确定性的行为策略等技术，提高了数据效率、降低了梯度估计的方差并避免了局部最优解。在一系列连续控制基准任务上的实验表明，相较于标准的 policy gradient 方法，该算法能够成功可靠地使用更少的系统交互来学习解决方案。

    May, 2019

  • 价值梯度强化学习

    该研究介绍和发展了价值梯度的概念在强化学习中的应用，证明了学习价值梯度对于控制问题的效率明显优于仅学习价值，证明了价值梯度学习算法和策略梯度学习算法之间的一个惊人等价。通过在几个问题域中实验，发现使用价值梯度可以使效率提升几个数量级，从而不再需要探索或随机行为来查找局部最优轨迹。

    Mar, 2008

  • 斯坦变分策略梯度

    本文提出了一种最大熵策略优化框架，该框架明确地鼓励参数探索，并表明这个框架可以被归约为一个贝叶斯推理问题。然后，我们提出了一种新颖的斯坦变分策略梯度方法 (SVPG)，该方法结合了现有的策略梯度方法和一个排斥函数来生成一组多样但行为良好的策略。在连续控制问题上，我们发现在 REINFORCE 和优势演员 - 评论家算法的基础上实现 SVPG 可以提高平均回报和数据效率。

    Apr, 2017

  • 随机控制系统中的稳定策略学习

    本文探讨了如何使用单个学习算法共同学习证明其稳定性的證明的策略，结果显示需要对策略进行某种形式的预训练才能成功修复和验证策略。

    May, 2022

  • 反向传播虚空：针对黑盒梯度估计优化控制变量

    本研究介绍了一种通用框架，用于学习随机变量的黑盒函数的低方差、无偏梯度估计器，并应用于训练离散潜变量模型以及提出了基于优势演员 - 评论家强化学习算法的无偏、行为条件扩展。

    Oct, 2017

  • 策略梯度估计的随机方差缩减

    本文介绍应用随机方差缩减梯度下降（SVRG）到无模型策略梯度中以显著提高其样本效率，并将 SVRG 估计组合到信赖区间牛顿共轭梯度架构中进行策略优化。在 Robotic Continuous Control 的几个 Mujoco 任务中，我们的方法比现有的无模型策略梯度方法如 Trust Region Policy Optimization (TRPO) 表现明显更好。

    Oct, 2017