Sep, 2020

固定数据集策略优化中悲观主义的重要性

PDF
TL;DR本文研究了固定数据集策略优化算法的预期回报的最坏情况保证，并提出了一种统一的概念和数学框架来研究这个领域的算法，指出了朴素方法可能出现高估价值的情况。为了避免这种情况，可以使用悲观策略，该策略可以在数据集不完整的情况下实现良好表现，本文还给出了遵循悲观策略的算法家族，最后在一些实验中验证了这些理论结果。
policy optimizationworst-case guaranteesvalue overestimationpessimistic algorithmsdeep learning
发现论文，激发创造
  • 悲观策略在离线强化学习中能被证明是高效的吗？

    本文提出了一种悲观的价值迭代算法（PEVI），它通过引入一个不确定性量化器作为惩罚函数来解决离线强化学习中因数据集覆盖不足而导致的不足问题，并在泛化情况下对其次优性建立了数据相关的上限。

    Dec, 2020

  • 离线强化学习的 Bellman 一致悲观算法

    本文介绍了一种 Bellman-consistent 的悲观算法，在深度学习的数据集中使用较为普遍，通过对探索性场景的标准 Bellman 闭合性理论保证了算法的鲁棒性，并且在样本复杂度上比其他算法有显著提高。

    Jun, 2021

  • 上下文多臂老虎机的离线策略优化：高效的谨慎性

    本文介绍了一种称为 `pessimistic policy optimization` 的算法，用于处理 contextual bandits 中的策略优化问题，并提供了对于这种方法的最佳统计估计。该算法运用监督学习的方法，在离线交互日志的基础上进行训练，非常适用于处理连续和离散行为空间的问题。

    Jun, 2023

  • 双重悲观主义在分布式鲁棒离线强化学习中证明有效：通用算法与鲁棒部分覆盖

    本研究提出了一个新的算法框架用于分布鲁棒离线强化学习，该算法结合了一种灵活的模型估计子程序和双倍悲观的策略优化步骤，其关键在于通过特定的模型估计子程序，提高离线数据集对鲁棒策略的覆盖度，从而有效克服分布偏移问题，并在多种函数逼近近似方法中得到了良好地应用。

    May, 2023

  • 关于批化策略优化算法的最优性

    提出一种称为置信回报指数算法的类别与加权极小极大准则，用于解决有限武装随机赌徒问题中的批处理策略优化。研究表明，任何置信回报指数算法都是极小极大优的，无论乐观、悲观还是中性。同时，我们还演示了如何使用加权极小极大准则来证明通常用于批处理策略优化的悲观原则。

    Apr, 2021

  • 深度强化学习中的战术乐观主义和悲观主义

    该研究展示了最有效的乐观程度可以随着任务和学习过程的不同而异。 启发于这一点，研究人员引入了一种新的深度演员 - 评论员框架，Tactical Optimistic and Pessimistic (TOP) 评估，它在线切换乐观和悲观的价值学习，并在解决像素环境的连续控制任务中创造了新的最优状态。

    Feb, 2021

  • 异步 Q-Learning 中悲观主义的功效

    本文研究异步 Q-learning 的形式，将随机近似策略应用于马尔可夫数据样本，提出一种算法框架，将悲观主义原则纳入异步 Q-learning 中，基于合适的下置信界来惩罚访问不频繁的状态 - 动作对，从而提高了样本效率和适应性。

    Mar, 2022

  • 离线策略学习中对规范化重要性采样的悲观性统一 PAC-Bayesian 研究

    通过引入一种全面的 PAC-Bayesian 框架来研究规范化重要性权重，我们提出了一个可验证的 PAC-Bayesian 泛化界限，该界限广泛适用于常见的重要性权重规范化方法，从而在单个框架内进行比较。我们的实证结果挑战了常见的认知，证明了标准的 IW 规范化技术的有效性。

    Jun, 2024

  • 面对混淆因素的悲观主义：部分可观察马尔可夫决策过程中可证明高效的离线强化学习

    研究通过行为策略收集的数据集来学习优化策略的离线强化学习算法，并针对潜在状态的影响所产生的混淆偏差和最优策略与行为策略之间的分布转换问题，提出了代理变量悲观策略优化（P3O）算法。

    May, 2022

  • 学习排序的悲观离线策略优化

    本文研究基于数据采集的 “离线学习” 在推荐系统中的应用，提出了基于点击模型的悲观离线排序学习方法，经过实验和分析表明其优越性和通用性。

    Jun, 2022