May, 2023

双重悲观主义在分布式鲁棒离线强化学习中证明有效：通用算法与鲁棒部分覆盖

HTML
PDF
TL;DR本研究提出了一个新的算法框架用于分布鲁棒离线强化学习，该算法结合了一种灵活的模型估计子程序和双倍悲观的策略优化步骤，其关键在于通过特定的模型估计子程序，提高离线数据集对鲁棒策略的覆盖度，从而有效克服分布偏移问题，并在多种函数逼近近似方法中得到了良好地应用。
发现论文，激发创造
  • 悲观策略在离线强化学习中能被证明是高效的吗？

    本文提出了一种悲观的价值迭代算法（PEVI），它通过引入一个不确定性量化器作为惩罚函数来解决离线强化学习中因数据集覆盖不足而导致的不足问题，并在泛化情况下对其次优性建立了数据相关的上限。

    Dec, 2020

  • COMBO: 保守的离线基于模型的策略优化

    该研究提出一种新的基于模型的线下强化学习算法（COMBO），该算法不需要显式的不确定性估计，通过对已学习模型下的滚动状态动作元组进行价值函数正则化，从而得到状态动作元组价值函数的保守估计。该方法可以优化真实策略价值的下限，且实验表明与先前的线下模型自由和基于模型的方法相比，COMBO在广泛研究的线下RL基准测试中表现持续改进。

    Feb, 2021

  • 基于悲观模型的部分覆盖离线强化学习

    研究在线学习中常见的数据不全覆盖情况，提出Constrained Pessimistic Policy Optimization (CPPO)算法，基于模型类别的限制来表示悲观情况，算法可以在数据不全覆盖的情况下具有PAC保证。

    Jul, 2021

  • 悲观引导的不确定性驱动离线强化学习

    本文提出了一种基于纯不确定性驱动的离线策略学习算法 - 悲观引导离线学习 (PBRL)，它通过引入一种Q函数的不确定度来量化不确定性，并以此进行悲观更新，以解决离线学习中由行为分布外数据所产生的外推误差问题。实验证明，相比现有算法，PBRL具有更好的性能表现。

    Feb, 2022

  • 面对混淆因素的悲观主义：部分可观察马尔可夫决策过程中可证明高效的离线强化学习

    研究通过行为策略收集的数据集来学习优化策略的离线强化学习算法，并针对潜在状态的影响所产生的混淆偏差和最优策略与行为策略之间的分布转换问题，提出了代理变量悲观策略优化（P3O）算法。

    May, 2022

  • 基于模型的离线强化学习中的悲观情况调节动态信念

    通过维护动态神经网络的信念分布，以偏向悲观主义的样本采样为基础的迭代策略优化算法被设计，可以最大限度地利用静态数据集，实现基于模型的离线强化学习。

    Oct, 2022

  • 离线强化学习的状态感知邻近悲观算法

    本文提出了一种基于状态感知的近端悲观算法（SA-PP），通过利用学习策略与离线数据集之间的折扣静态状态分布比率，在状态级别上调节行为正则化的程度，以实现更合适的悲观学习，为此还提出了一种名为状态感知保守Q-Learning（SA-CQL）的新算法，实验结果表明在标准离线学习基准测试中SA-CQL取得了最高平均收益。

    Nov, 2022

  • 分布鲁棒优化有效地解决离线强化学习问题

    本文利用不确定性集来直接建模转移内核的不确定性，并采用分布稳健优化方法, 通过优化在不确定性集中的最坏情况下的性能来解决先前研究所面临的有限数据和分布转移的问题。

    May, 2023

  • 建立分布鲁棒学习和离线强化学习的桥梁：缓解分布偏移和部分数据覆盖的方法

    离线强化学习中的分布偏移问题可以通过分布鲁棒学习框架来解决，本文提出了两种使用该框架的离线强化学习算法，并通过模拟实验展示了其优越性能。

    Oct, 2023

  • 分布鲁棒离线强化学习的极小极大最优和计算高效算法

    分布式鲁棒离线强化学习是针对环境扰动进行鲁棒策略训练的一种方法，当面对大规模状态-动作空间时需要进行函数逼近。本研究提出了一种最小极大值最优算法，通过对线性参数化的模型进行实现，探索了实例依赖次优性分析在鲁棒离线强化学习中的应用，并揭示了鲁棒离线强化学习中的函数逼近与标准离线强化学习所面临的困难之间的本质区别。

    Mar, 2024