Nov, 2022

离线强化学习的状态感知邻近悲观算法

PDF
TL;DR本文提出了一种基于状态感知的近端悲观算法（SA-PP），通过利用学习策略与离线数据集之间的折扣静态状态分布比率，在状态级别上调节行为正则化的程度，以实现更合适的悲观学习，为此还提出了一种名为状态感知保守 Q-Learning（SA-CQL）的新算法，实验结果表明在标准离线学习基准测试中 SA-CQL 取得了最高平均收益。
offline reinforcement learningpessimismbehavior regularizationstate distributionq-learning
发现论文，激发创造
  • 异步 Q-Learning 中悲观主义的功效

    本文研究异步 Q-learning 的形式，将随机近似策略应用于马尔可夫数据样本，提出一种算法框架，将悲观主义原则纳入异步 Q-learning 中，基于合适的下置信界来惩罚访问不频繁的状态 - 动作对，从而提高了样本效率和适应性。

    Mar, 2022

  • 面对混淆因素的悲观主义：部分可观察马尔可夫决策过程中可证明高效的离线强化学习

    研究通过行为策略收集的数据集来学习优化策略的离线强化学习算法，并针对潜在状态的影响所产生的混淆偏差和最优策略与行为策略之间的分布转换问题，提出了代理变量悲观策略优化（P3O）算法。

    May, 2022

  • 离线强化学习的悲观 Q 学习：朝着最优样本复杂性的方向

    本文研究了离线强化学习的一个悲观策略 Q-learning，针对有限时间的马尔科夫决策过程，通过单一策略密度函数的集中性假设，对其样本复杂度进行了表征，并提出了一种方差减小的悲观 Q-learning 算法来达到接近最优的样本复杂度。研究结果表明，在离线强化学习中，结合悲观策略和方差减小的模型无关型算法能够提高效率。

    Feb, 2022

  • 悲观策略在离线强化学习中能被证明是高效的吗？

    本文提出了一种悲观的价值迭代算法（PEVI），它通过引入一个不确定性量化器作为惩罚函数来解决离线强化学习中因数据集覆盖不足而导致的不足问题，并在泛化情况下对其次优性建立了数据相关的上限。

    Dec, 2020

  • 双重悲观主义在分布式鲁棒离线强化学习中证明有效：通用算法与鲁棒部分覆盖

    本研究提出了一个新的算法框架用于分布鲁棒离线强化学习，该算法结合了一种灵活的模型估计子程序和双倍悲观的策略优化步骤，其关键在于通过特定的模型估计子程序，提高离线数据集对鲁棒策略的覆盖度，从而有效克服分布偏移问题，并在多种函数逼近近似方法中得到了良好地应用。

    May, 2023

  • 逆强化学习中悲观主义的优点

    通过使用离线 RL 算法作为 IRL 过程的一部分，我们能够更有效地找到与专家表现相匹配的策略。

    Feb, 2024

  • 富有信念的悲观 Q 学习用于对抗敌对状态扰动

    我们提出了一种新的强化学习 (RL) 算法，通过得到一种悲观策略来保护代理对真实状态的不确定性，并结合置信状态推理和基于扩散的状态净化来降低不确定性，实验证明我们的方法在面对强攻击时具有出色的性能并且与基于正则化方法具有相当的训练开销。

    Mar, 2024

  • 行为近端策略优化

    本文通过对线下单调策略改进的分析得出有趣结论，即一些在线策略算法天生就能解决离线 RL 问题，而 Behavior Proximal Policy Optimization (BPPO) 正是基于这个结论提出的，无需额外约束或正则化就能在 D4RL 基准测试中超越最先进的线下 RL 算法。

    Feb, 2023

  • 离线强化学习的 Bellman 一致悲观算法

    本文介绍了一种 Bellman-consistent 的悲观算法，在深度学习的数据集中使用较为普遍，通过对探索性场景的标准 Bellman 闭合性理论保证了算法的鲁棒性，并且在样本复杂度上比其他算法有显著提高。

    Jun, 2021

  • POPO: 悲观离线策略优化

    本文主要针对离线强化学习中的价值函数方法，提出了一种名为 POPO 的悲观离线策略优化算法，它学习了一种悲观的价值函数以获取强策略，相比于多个最先进的算法，在高维状态和动作空间中表现出色。

    Dec, 2020