Mar, 2024

切换损失减少批处理强化学习成本

HTML
PDF
TL;DR我们提出使用对数损失函数训练拟合Q-迭代（FQI-LOG）进行批量强化学习。我们证明了使用FQI-LOG学习接近最优策略所需要的样本数量与最优策略的累积成本成比例，而在问题中，如果行为最优则可以达到目标且不会产生成本，所以最优策略的累积成本为零。通过这样做，我们为批量强化学习中的“小成本”界限提供了一个通用框架，即与最优可达成成本成比例的界限。此外，我们经验证明，在最优策略可靠达到目标的问题上，FQI-LOG使用的样本比使用平方损失训练的FQI要少。
发现论文，激发创造
  • 线性函数逼近下的最小化最优离线策略评估

    本文研究利用函数逼近的批量数据强化学习的统计理论，针对离线策略评估问题提出了基于回归的适应Q迭代方法，证明该方法是信息理论上的最优方法，错误估计接近最小，进而提供容易计算的置信区间，该方法在乐观规划和安全策略改进中可能有用

    Feb, 2020

  • 批量强化学习中的Q*逼近算法：一个理论比较

    本文涵盖了两种用于近似Q星算法在批量强化学习中表现的性能保证，并与传统的迭代方法进行了比较，证明了这些方法可以通过估计贝尔曼误差，仅依靠批数据和输出静态策略的算法，享受与任务无关的线性迭代时间性质。 其中一种算法使用了新颖而明确的重要性加权校正，以克服贝尔曼误差估计中的“双重抽样”难题，并且没有使用任何平方损失。 我们的分析揭示了与传统算法相比，其不同的特点和潜在优势。

    Mar, 2020

  • 可证明的好的无须强探索批量强化学习

    本文介绍了一种基于Bellman备份的批量强化学习算法，它采用一种更加保守的更新策略来提高输出策略的性能保证，并通过演示MDP示例和在标准基准测试中的实证比较来突出了我们保守更新的必要性和以前算法和分析的局限性。

    Jul, 2020

  • 仅具可实现性的批次值函数逼近

    该研究提出了一种batch reinforcement learning的学习算法BVFT，通过一种基于比较和分区的机制使得学习效率更高并且适用于其他问题和扩展。

    Aug, 2020

  • 批量强化学习的指数下界：相比在线强化学习，批量强化学习可能更加困难

    本文介绍了在具有线性函数表示的情况下，在折扣无限时间M​​DPs中分别对策略和目标策略的价值进行估计时，即使存在实现性并观察到精确奖励和转移函数以及为问题类提供最佳先验数据分布，也派生出指数的信息论下限，并引入了一个新的“oracle+ batch algorithm”框架来证明适用于每个分布的底限。工作显示了批处理和在线强化学习之间的指数分离。

    Dec, 2020

  • 连续双重约束批次强化学习

    本研究提出基于批次强化学习的算法，仅使用固定的离线数据集而非在线与环境的交互来学习有效策略，并通过策略约束和价值约束对数据集不足的情况进行干扰，实现对候选策略的控制，相比于现有的最新方法在多项连续动作批处理强化学习基准测试中表现优异。

    Feb, 2021

  • 在线目标Q学习与倒置经验回放：高效找到线性MDP的最优策略

    本文研究了在强化学习中常用的 Q-learning 算法，在理论和实践之间的差距，并提出了两种改进方法，分别为 Q-Rex 和 Q-RexDaRe，这两个方法能够更有效地找到线性马尔科夫决策过程的最佳策略并提供了采样复杂度的非渐近界限。

    Oct, 2021

  • 具有loglog(T)切换成本的高样本效率强化学习

    本文针对实际强化学习应用中新策略部署的高成本和策略更新次数必须较少的问题，提出了一种基于分阶段探索和自适应策略消除算法，实现了在低换乘成本下的回报 并且在已知的换乘成本中实现了指数级的改善。

    Feb, 2022

  • 强化学习通用函数逼近的近乎最优低切换算法

    我们提出了新算法MQL-UCB，通过探索-利用困境实现了具有函数逼近的强化学习，解决了切换策略的成本和函数类复杂性的问题，同时在历史轨迹中利用了高数据效率，实现了最小化遗憾和最优切换成本。

    Nov, 2023

  • 关于损失函数和误差累积在基于模型的强化学习中的注释

    模型驱动的强化学习在深度强化学习领域的理论理解上有一些困惑。本研究讨论的主要问题是如何解决模型驱动强化学习在错误叠加上的不良经验与其优越的理论性质之间的矛盾，以及经验上流行算法的局限性。通过构造具体反例，证明了“MuZero loss”在随机环境中的失败，以及在具备足够覆盖数据的确定性环境中具有指数样本复杂度。

    Apr, 2024