Dec, 2018

残差策略学习

PDF
TL;DR本文介绍了一种简单的方法 —— 残差策略学习（Residual Policy Learning，RPL），用于改善使用模型自由深度强化学习来提高非可微策略。我们在面对复杂的机器人操作任务时，研究了 RPL 的应用，这些任务中存在良好但不完美的控制器。与从头开始的强化学习相比，RPL 在这些任务中可以获得显著的改进。在六个挑战性的 MuJoCo 任务中，我们将初始控制器设置为手动设计的策略和具有已知或学习转移模型的模型预测控制器。通过将学习与控制算法相结合，RPL 可以执行长时程、稀疏奖励任务，而仅使用强化学习则失败。此外，我们发现 RPL 在改善初始控制器方面一致且显著。我们认为 RPL 是结合深度强化学习和机器人控制互补优势的一种有前途的方法，推动了两者独立实现的边界。
发现论文，激发创造
  • 动力总成控制的残差策略学习

    本文介绍一种主动驾驶辅助方法，使用剩余策略学习代理人来提供剩余操作以平衡燃料消耗和其他驾驶员适应性目标。通过实施在各种车辆尾随情境下的模拟商用车上，我们发现与基线源策略相比，剩余策略学习代理人很快学习到了显着改进的策略，但在某些方面不如从头开始训练的强化学习代理人所能达到的最终结果。

    Dec, 2022

  • 复杂和连续状态行动空间的专用深度残差策略安全强化学习控制器

    传统控制器有局限性，深度强化学习通过在环境中进行探索来学习最优控制策略，为安全关键环境提出专门的深度残差策略安全强化学习方法，并在 Tennessee Eastman 过程控制中进行验证。

    Oct, 2023

  • 基于模型的残差策略学习及其在天线控制中的应用

    通过一种基于模型的强化学习方法，优化了控制实际系统的非可微控制器和基于规则的策略，取得了良好的样本效率。实验结果表明该方法在多种摆臂机器人控制任务中明显优于现有的基于模型的方法，并成功应用于电信领域。

    Nov, 2022

  • 基于概率模型的策略搜索学习鲁棒控制器

    通过世界模型估计真实环境以逼近最优策略的基于模型的强化学习方法，通过在高斯过程动态模型中强制施加似然噪声的下限来正则化策略更新，从而得到更健壮的控制器。

    Oct, 2021

  • 机器人控制的残余强化学习

    本文研究了如何通过将传统反馈控制方法与强化学习相结合，解决包括接触力和摩擦力在内的现代制造业中的机器人控制问题，并通过培训代理来演示我们的方法，成功地执行现实世界的块装配任务。

    Dec, 2018

  • 可变循环模型求解部分可观测控制任务

    本文提出了一种在部分可观察环境下应用深度强化学习解决机器人控制任务的算法，该算法包含了两个部分，即可变循环模型和强化学习控制器；实验证明，该算法比其他方法在数据效率和策略学习上表现更好。

    Dec, 2019

  • 模型集成信任区域策略优化

    通过使用深度神经网络同时学习模型和策略，我们分析了基于模型的增强学习方法的行为，并展示出学习到的策略倾向于利用模型学习不足的区域，导致训练不稳定。为了解决这个问题，我们提出使用模型集合来维护模型的不确定性并规范学习过程，并进一步展示，与 “Backpropagation through time” 相比，使用 “likelihood ratio” 导数可以获得更加稳定的学习。通过我们的方法 ME-TRPO，在具有挑战性的连续控制基准任务中，显著减少了比基于模型的深度 RL 方法所需的样本数量。

    Feb, 2018

  • 共享自主权的残差策略学习

    提出了一种模型自由、剩余策略学习算法来实现共享自主，将人与机器人的互补优势结合起来，以实现共同的目标，在 Lunar Lander 和 6-DOF quadrotor reaching task 两个连续控制环境中测试，表明此方法可以显著提高任务绩效。

    Apr, 2020

  • 透过部分监督强化学习学习后见可观测部分可解释策略

    通过融合监督学习和无监督学习，部分监督强化学习（PSRL）框架能够提供更可解释的策略和丰富的潜在洞察力，从而在奖励和收敛速度等方面保持并大大超越传统方法的性能基准。

    Feb, 2024

  • 多任务和多机器人迁移学习的模块化神经网络策略学习

    本研究主要关注于如何使用深度增强学习的方法，通过神经网络策略来训练机器人获取新的技能。同时，通过迁移学习，可以实现技能和机器人之间的信息共享，从而使用 mix-and-match 模块来解决新的机器人环境和任务组合的问题。

    Sep, 2016