ICLRFeb, 2022

悲观引导的不确定性驱动离线强化学习

PDF
TL;DR本文提出了一种基于纯不确定性驱动的离线策略学习算法 - 悲观引导离线学习 (PBRL)，它通过引入一种 Q 函数的不确定度来量化不确定性，并以此进行悲观更新，以解决离线学习中由行为分布外数据所产生的外推误差问题。实验证明，相比现有算法，PBRL 具有更好的性能表现。
offline reinforcement learningoff-policy algorithmsextrapolation errorpessimistic bootstrappinguncertainty quantification
发现论文，激发创造
  • POPO: 悲观离线策略优化

    本文主要针对离线强化学习中的价值函数方法，提出了一种名为 POPO 的悲观离线策略优化算法，它学习了一种悲观的价值函数以获取强策略，相比于多个最先进的算法，在高维状态和动作空间中表现出色。

    Dec, 2020

  • 多样化的随机化价值函数：离线强化学习的可证明悲观方法

    离线强化学习面临分布偏移和不可靠价值估计，本文提出了一种新策略，采用多样化的随机化值函数估计 $Q$ 值的后验分布，并应用适度的价值惩罚方法来确定鲁棒的不确定性量化和 $Q$ 值的较低置信区间。通过提高随机化值函数的多样性并引入一种多样性正则化方法，可以减少所需的网络数量，从而实现可靠的价值估计和有效的策略学习。理论分析表明，在线性 MDP 假设下，我们的方法能够恢复出经过证明的高效的较低置信区间惩罚。大量的实证结果也证明，我们提出的方法在性能和参数效率方面明显优于基准方法。

    Apr, 2024

  • 基于不确定性的离线强化学习与多样化 Q 集成

    本文提出了一种基于不确定性的离线强化学习方法，考虑 Q 值预测的置信度，不需要对数据分布进行估计或抽样，并提出了一种集合多样化的演员 - 批评家算法，该算法在大多数 D4RL 基准测试中实现了最先进的性能。

    Oct, 2021

  • 面对混淆因素的悲观主义：部分可观察马尔可夫决策过程中可证明高效的离线强化学习

    研究通过行为策略收集的数据集来学习优化策略的离线强化学习算法，并针对潜在状态的影响所产生的混淆偏差和最优策略与行为策略之间的分布转换问题，提出了代理变量悲观策略优化（P3O）算法。

    May, 2022

  • 离线基于模型的强化学习中设计选择的重新审视

    本研究比较不同的不确定性启发式方法，并设计新的协议来研究它们与其他超参数的交互作用，使用这些洞见，我们展示了使用 Bayesian 优化选择这些关键超参数可以产生优越的配置，这与现有手动调整的最先进方法大不相同， 从而实现了大幅度的强化学习。

    Oct, 2021

  • 策略性保守型 Q 学习

    提出了一种名为 Strategically Conservative Q-Learning (SCQ) 的新框架，用于解决离线强化学习中的逼近误差和分布外动作的问题，在 D4RL 基准任务上表现优于现有方法。

    Jun, 2024

  • 通过引导误差减少稳定离轨策略 Q 学习

    该研究针对离线策略评估的弱点，探讨了如何通过约束动作选择减少 Bellman backup 带来的 bootstrapping error，提出了一种名为 BEAR 的实用算法，在不同的离线策略分布上都表现出较强的鲁棒性。

    Jun, 2019

  • 离线强化学习的悲观 Q 学习：朝着最优样本复杂性的方向

    本文研究了离线强化学习的一个悲观策略 Q-learning，针对有限时间的马尔科夫决策过程，通过单一策略密度函数的集中性假设，对其样本复杂度进行了表征，并提出了一种方差减小的悲观 Q-learning 算法来达到接近最优的样本复杂度。研究结果表明，在离线强化学习中，结合悲观策略和方差减小的模型无关型算法能够提高效率。

    Feb, 2022

  • 平衡重现和悲观 Q 集合的离线到在线强化学习

    本文提出了一种平衡重放机制和多 Q 函数的方法来解决深度离线强化学习中的状态 - 动作分布移位问题，以提高机器人代理在不同运动和操作任务中的样本效率和最终性能。

    Jul, 2021

  • 基于模型的离线强化学习中的悲观情况调节动态信念

    通过维护动态神经网络的信念分布，以偏向悲观主义的样本采样为基础的迭代策略优化算法被设计，可以最大限度地利用静态数据集，实现基于模型的离线强化学习。

    Oct, 2022