Nov, 2020

学习如何利用成形奖励：一种新的奖励成形方法

PDF
TL;DR本文提出了一种自适应利用给定塑形奖励函数的算法，通过将塑形奖励作为一个双层优化问题来解决，从而实现了真实奖励的最大化，并基于这个问题，提出了三种基于不同假设的学习算法。实验结果表明，我们的算法可以充分利用有益的塑形奖励，同时忽略无益的塑形奖励或者甚至将它们转化为有益的。
发现论文，激发创造
  • 解析奖励塑造：理解奖励工程对样本复杂性的益处

    本文阐述了在强化学习中选择适当的奖励设计方法对提高学习效率的重要性，并提出了一种将奖励设计融入强化学习框架的方案，并通过基于奖励设计所得到的样本效率的提高，证明了该方案在实践中的有效性。

    Oct, 2022

  • 元学习中的奖励塑形

    本文提供了一种基于分布任务的 meta-learning 框架，自动学习新采样任务上的有效奖励塑形，从而解决了强化学习中信用分配的难题，并通过从 DQN 到 DDPG 的成功转移等各种设置，展示了探索 shaping 方法的有效性。

    Jan, 2019

  • 深度强化学习中的形状建议

    本文提出由观察和行动函数构成的势函数的差作为附加奖励的 shaping advice 来增加环境奖励的稀疏性问题的增强学习方法，分别在单智能体和多智能体强化学习中应用。通过理论分析和实验评估指出，使用 shaping advice 能够使规则更快地学习任务并获得更高的奖励。

    Feb, 2022

  • 通过奖励函数优化进行行为对齐

    通过使用双层目标的新框架，将辅助奖励与环境的主要奖励相结合，我们提供了一种集成设计者指定的启发式方法的鲁棒且有原则的方式，以解决现有方法的主要缺点，即使给出不对齐或指定不良的辅助奖励函数，也能始终导致高性能解决方案。

    Oct, 2023

  • 实时策略游戏中的奖励塑造以提高学习能力

    我们研究了奖励塑型在实时策略的夺旗游戏中提高强化学习性能的效果，并证明适当设计的奖励塑型函数能显著提高玩家的性能和训练时间。

    Nov, 2023

  • 通过奖励塑造在强化学习中保证控制需求

    在满足控制问题中的规范和追踪要求的过程中，需要通过强化学习来保证所获得的策略在部署之前能够满足必要的性能和稳定性准则，如期望的调整时间和稳态误差。基于这种必要性，本文提出了一组结果和系统奖励设计过程，可以确保最优策略生成的轨迹与指定的控制要求相一致，并且可以评估任何给定的策略是否满足这些要求。我们通过在 OpenAI Gym 的两个代表性环境 —— 倒立摆摆动问题和月球着陆器问题中进行了全面的数值实验来验证我们的方法。通过使用表格和深度强化学习方法，我们的实验一致证明了我们提出的框架的有效性，突出了其确保策略符合所规定的控制要求的能力。

    Nov, 2023

  • 强化学习中使用自然语言进行奖励塑形

    使用自然语言指令进行奖励塑形，在复杂的 Atari 游戏中，比标准强化学习算法成功完成任务的次数平均提高了 60%，并且可以无缝集成到任何标准强化学习算法中。

    Mar, 2019

  • 基于位势的奖励用于学习人形机械的运动能力评测

    设计和调整奖励函数是发展有效强化学习（RL）流程的主要挑战之一。在这项研究中，我们使用潜在基础奖励塑造（PBRS）来加速学习收敛，在高维系统中，PBRS 对于收敛速度的提升有限，但是 PBRS 奖励项相对缩放更加稳健，更容易调整。

    Jul, 2023

  • 通过奖励塑造在基于情节的强化学习中利用多重抽象

    研究提出了一种基于奖励设计的强化学习算法，通过使用层次结构的抽象模型，将抽象层级中的解决方案用于指导更复杂领域的学习，从而提高了学习效率且具有实际应用价值。

    Feb, 2023

  • 基于磁场的奖励设计器用于目标导向式强化学习

    本文提出了一种基于磁场的奖励制形式，结合了非线性和非各向同性分布，将传统奖励制应用于目标驱动的强化学习任务，得到更好的样本效率和学习性能。根据磁铁所产生的磁场强度建立奖励函数，并通过学习二次潜在函数以实现最优策略不变性。实验结果表明，相对于现有奖励制方法，该方法在模拟和现实世界中的机器人操纵任务中表现出更好的性能。

    Jul, 2023