强化学习中抽象和基于潜力的奖励塑形的样本效率研究

Apr, 2024

强化学习中抽象和基于潜力的奖励塑形的样本效率研究

On the Sample Efficiency of Abstractions and Potential-Based Reward Shaping in Reinforcement Learning

Giuseppe Canonaco, Leo Ardon, Alberto Pozanco, Daniel Borrajo

TL;DR利用抽象技术在有限时间内生成 “好” 的潜力函数，分析在 Potential Based Reward Shaping 中有限时间引入的偏差，并在四个不同环境中进行评估，证明我们可以通过简单的全连接网络达到与基于 CNN 的解决方案相同的性能水平。

Abstract

The use of potential based reward shaping (PBRS) has shown great promise in the ongoing research effort to tackle sample inefficiency in Reinforcement Learning (RL). However, the choice of the potential function

potential based reward shaping reinforcement learning potential function finite horizon sample efficiency

发现论文，激发创造

基于位势的奖励用于学习人形机械的运动能力评测

设计和调整奖励函数是发展有效强化学习（RL）流程的主要挑战之一。在这项研究中，我们使用潜在基础奖励塑造（PBRS）来加速学习收敛，在高维系统中，PBRS 对于收敛速度的提升有限，但是 PBRS 奖励项相对缩放更加稳健，更容易调整。

Jul, 2023

面向目标驱动任务的基于计划的放松奖励塑形

本文提出了一种解决状态空间高维时强化学习探索问题的 Final-Volume-Preserving Reward Shaping (FV-RS) 方法，相比于之前的 potential-based reward shaping 方法，FV-RS 放松了不断保持最优解保证，从而更适合于提高强化学习算法的样本效率，并在模拟机器人操作任务中实现了显著的改进

Jul, 2021

基于潜力的奖励塑造对内在动机的影响

最近出现了大量的内在动机（IM）奖励塑造方法来学习复杂和稀疏奖励的环境。在这些方法中，往往会无意中改变环境中的最优策略集，导致次优行为。我们提出了一个扩展的潜在基于奖励塑造（PBRS）方法，我们证明它在比之前更一般的函数集合下保留了最优策略集。同时，我们还提出了一种名为 “基于潜在的内在动机”（PBIM）的方法，将 IM 奖励转化为基于潜在的形式，而无需改变最优策略集。在 MiniGrid DoorKey 和 Cliff Walking 环境中的测试中，我们证明 PBIM 成功防止了智能体收敛到次优策略并且可以加速训练。

Feb, 2024

具有动力学感知奖励的样本高效偏好强化学习

通过从代理行为的二进制反馈中学习到的动态感知奖励函数，我们展示了动态感知奖励函数如何使得偏好基础增强学习的采样效率提高一个数量级。通过迭代学习动态感知的状态 - 行动表示并从中引导基于偏好的奖励函数，我们实现了更快的策略学习和更好的最终策略性能。例如，在四足行走、行走者行走和猎豹奔跑中，在 50 个偏好标签的情况下，我们实现了与现有方法 500 个偏好标签相同的性能，并恢复了 83% 和 66% 的地面真实奖励策略性能，而它们分别只有 38% 和 21%。这些性能提升证明了明确学习动态感知奖励模型的好处。

Feb, 2024

解析奖励塑造：理解奖励工程对样本复杂性的益处

本文阐述了在强化学习中选择适当的奖励设计方法对提高学习效率的重要性，并提出了一种将奖励设计融入强化学习框架的方案，并通过基于奖励设计所得到的样本效率的提高，证明了该方案在实践中的有效性。

Oct, 2022

朝着计算高效的逆强化学习方向进发：通过奖励塑形

逆向强化学习是具有计算挑战性的，常见方法需要解决多个强化学习子问题。本研究激励使用基于潜力的奖励塑造来减轻每个强化学习子问题的计算负担，并希望能激发未来对计算效率高的逆向强化学习的发展。

Dec, 2023

基于潜在函数的塑形和 Q - 值初始化是等价的

探讨了基于 potential-based shaping algorithm 的初始化步骤与 reinforcement learning 算法学习过程中的相似性，证明二者在一个广泛类别的策略下是无法区分的，并提出了一个更简单方法以捕捉该算法的好处以及有关使用 potential-based shaping 算法进行学习的效率的问题。

Jun, 2011

学习如何利用成形奖励：一种新的奖励成形方法

本文提出了一种自适应利用给定塑形奖励函数的算法，通过将塑形奖励作为一个双层优化问题来解决，从而实现了真实奖励的最大化，并基于这个问题，提出了三种基于不同假设的学习算法。实验结果表明，我们的算法可以充分利用有益的塑形奖励，同时忽略无益的塑形奖励或者甚至将它们转化为有益的。

Nov, 2020

深度强化学习中的形状建议

本文提出由观察和行动函数构成的势函数的差作为附加奖励的 shaping advice 来增加环境奖励的稀疏性问题的增强学习方法，分别在单智能体和多智能体强化学习中应用。通过理论分析和实验评估指出，使用 shaping advice 能够使规则更快地学习任务并获得更高的奖励。

Feb, 2022

通过奖励函数优化进行行为对齐

通过使用双层目标的新框架，将辅助奖励与环境的主要奖励相结合，我们提供了一种集成设计者指定的启发式方法的鲁棒且有原则的方式，以解决现有方法的主要缺点，即使给出不对齐或指定不良的辅助奖励函数，也能始终导致高性能解决方案。

Oct, 2023