Aug, 2023

强化学习中的多目标策略优化政策组合

PDF
TL;DR通过利用相关的现有教师策略，我们使强化学习代理能够学习成功的行为策略，并在多目标策略优化设置中将教师策略引入作为目标之一，展示了教师策略能够加速学习的方式，尤其是在缺乏塑形奖励之情况下。
reinforcement learning agentsteacher policiesmulti-objective policy optimizationshaping rewardstask objective
发现论文，激发创造
  • 多目标策略优化的分布式视角

    本文提出了一种用于多目标强化学习的新算法，可以以一种无量纲的方式设置目标的偏好，并且通过学习行动分布和拟合参数策略来在高维实际机器人任务及模拟任务中展示了其有效性，从而找到一组非支配解空间。

    May, 2020

  • 多智能体强化学习中影响长期行为

    本文提出了一个基于 farsighted objective 的新优化目标以及一种新的多智能体强化学习方法，实现了优于现有基线结果的长期性能。

    Mar, 2022

  • 多目标强化学习和策略适应的广义算法

    提出了一种基于广义 Bellman 方程的多目标强化学习算法，该算法可通过极少量的样本快速适应新任务并生成最优策略。

    Aug, 2019

  • 强化学习中的课程表政策学习

    本文研究课程学习在强化学习中的应用，并针对多个传递学习算法扩展已有的课程设计方法，通过学习 MDP（Markov Decision Process) 过程中的课程策略，得出可以用于训练代理人的课程，进而实现更快或同等方法的学习效率。

    Dec, 2018

  • 多目标马尔可夫决策过程中的内在动机分层策略学习

    通过采用内在动机驱动的强化学习方法来演化出一套通用的技能集，以解决多目标马尔科夫决策过程，从而克服了在非稳态环境中无法泛化的问题。实验证明，该方法在动态机器人环境中明显优于现有的多目标强化学习方法。

    Aug, 2023

  • 从离线数据中学习可变目标的控制策略

    离线强化学习是一种获取动态系统先进控制策略的可行方法，尤其是在无法直接与环境互动时。本文介绍了一种名为可变目标策略（VOP）的基于模型的策略搜索方法的概念扩展。通过此方法，策略被训练以有效地泛化各种目标，这些目标对奖励函数进行参数化。我们证明了通过改变作为输入传递给策略的目标，用户可以在运行时自由调整其行为或重新平衡优化目标，无需收集额外的观察数据或重新训练。

    Aug, 2023

  • 最大后验策略优化

    介绍了一种基于最大后验策略优化的强化学习算法，并开发出两种离线策略算法，证明了它们在深度强化学习方面与现有方法的竞争力，并在连续控制方面提高了样本效率，避免了过早收敛和对超参数设置的鲁棒性。

    Jun, 2018

  • 多目标强化学习元学习

    本文介绍了将多目标强化学习应用到连续控制问题中，通过元学习的方法探索可能的最优策略，以此来近似帕累托最优解并提高计算效率。作者在高自由度的控制问题中验证了该方法。

    Nov, 2018

  • 软动作先验：实现强化学习中的稳健策略转移

    通过引入动作先验，结合奖励整形和辅助正则化损失的方法，该论文提出了一种适应性算法，可以高效地利用先验知识，特别是软动作先验，取得了在 Reinforcement Learning 问题上的最新成果和深度 RL 的鲁棒性改进。

    Sep, 2022

  • 使用不匹配约束策略加速安全强化学习

    提出一种迭代策略优化算法以安全地学习来自基准策略的强化学习问题，其中基准策略可以来自示范数据或教师代理，并且需要满足一组由安全性、公平性或其他特定应用需求编码的约束条件。在控制任务上的实验中，该算法始终优于多个最先进的基线算法，并在平均回报上提高了 40％，约 10 倍少的约束违规行为。

    Jun, 2020