Feb, 2022

具有 loglog (T) 切换成本的高样本效率强化学习

PDF
TL;DR本文针对实际强化学习应用中新策略部署的高成本和策略更新次数必须较少的问题，提出了一种基于分阶段探索和自适应策略消除算法，实现了在低换乘成本下的回报 并且在已知的换乘成本中实现了指数级的改善。
reinforcement learningpolicy switchingadaptive policy eliminationepisodic markov decision processregret
发现论文，激发创造
  • 具有切换成本的近优敌对强化学习

    本文尝试解决如何开发一种可证明高效的带有转换代价的对抗性 RL 算法的问题，并提出了两种新颖的降低转换代价的算法，其回归分析证明了它们的近乎最优性能。

    Feb, 2023

  • 超越线性马尔可夫决策过程中的对数切换成本在强化学习中应用

    本研究提出了一种新的算法 ELEANOR-LowSwitching，它在低固有贝尔曼误差的线性贝尔曼完成马尔可夫决策过程中实现了近乎最优的遗憾，轻量级的开销只是具有对数期和特征维度的情况，同时， 我们还证明了该算法具有次线性遗憾的所有算法之间成比例的下限，针对一般化的线性函数逼近，该算法可以被进一步利用利用它的 “翻倍技巧”，我们设计了一个样本效率高且开销接近最优的算法。

    Feb, 2023

  • 线性马尔可夫决策过程低切换成本可证效率算法

    本文着重于线性马尔可夫决策过程（MDP）问题中的低转换成本，并提出了第一个具有低转换成本的线性 MDP 算法，同时通过低转换成本较小而达到了大体积的泛化。

    Jan, 2021

  • 低切换成本可证明高效的 Q 学习

    本研究旨在探究具有有限自适应性的 PAC-MDP 算法，我们提出了一种以本地切换成本为度量标准的 Q-Learning with UCB2 exploration 算法，可在 H 步奖励 MDP 中实现次线性遗憾，适用于医学领域等现实应用场景。

    May, 2019

  • 突破样本复杂度障碍，实现后悔优化的无模型强化学习

    通过引入方差缩减策略，设计了一个记忆高效的算法来解决在线序列化强化学习中的勘探和开发之间的平衡问题，该算法的空间复杂度为 $ O (SAH)$，较以前的算法提高了 $S^5A^3$ 倍的效率。

    Oct, 2021

  • 切换损失减少批处理强化学习成本

    我们提出使用对数损失函数训练拟合 Q - 迭代（FQI-LOG）进行批量强化学习。我们证明了使用 FQI-LOG 学习接近最优策略所需要的样本数量与最优策略的累积成本成比例，而在问题中，如果行为最优则可以达到目标且不会产生成本，所以最优策略的累积成本为零。通过这样做，我们为批量强化学习中的 “小成本” 界限提供了一个通用框架，即与最优可达成成本成比例的界限。此外，我们经验证明，在最优策略可靠达到目标的问题上，FQI-LOG 使用的样本比使用平方损失训练的 FQI 要少。

    Mar, 2024

  • 低转移成本的多项式逻辑赌博机

    研究在多项式逻辑赌博算法中探索动作改变尽可能少的限制自适应性，在实现几乎最优的极小化遗憾时，提出两种自适应性的度量：混合替换成本和更精细的项替换成本。

    Jul, 2020

  • 有限时间跨度下连续时间线性二次强化学习的对数损失

    研究连续时间线性二次调节强化学习问题，提出基于连续时间观测和控制的最小二乘算法和基于离散时间观测和分段常数控制的最小二乘算法，并分析了它们的误差界限和实现可能性。

    Jun, 2020

  • 具有切换成本和其他自适应对手的在线学习

    本文研究了预测中的不同类型自适应（非固定的）对手的强度，使用新概念的策略遗憾去衡量玩家的表现，特别关注记忆和切换成本的自适应对手，具有均摊 2/3 次幂的速率且强度显著较弱。

    Feb, 2013

  • 双重利润策略优化

    本文针对 tabular Markov 决策过程中的策略优化方法，通过设计适当的正则化器、探索奖励和学习率，在损失为随机时实现更优的 Polylog (T) 的损失，而在对抗的情况下不降低最坏情况下的保障，并且使用 Tsallis Entropy 和 Shannon Entropy regularizer 实现了这一目标。同时，我们展示了在已知的转移条件下，通过利用对数障碍正则化器，在对抗情况下可以获得一阶损失保证。

    Feb, 2023