Oct, 2023

无穷时间MDP的离线数据高效在线学习: 一种贝叶斯方法

HTML
PDF
TL;DR本文研究了在线强化学习问题在无限时间段环境中的高效解决方法，其中假设有一个离线数据集作为起点，由一个未知能力水平的专家生成，我们展示了如果学习代理建模了专家使用的行为策略，它可以在最小化累计遗憾方面表现得更好，我们建立了一个前瞻性依赖先验的遗憾界限，提出了近似的被告知RLSVI算法，可以解释为使用离线数据集进行模仿学习，然后进行在线学习。
发现论文，激发创造
  • 悲观策略在离线强化学习中能被证明是高效的吗？

    本文提出了一种悲观的价值迭代算法（PEVI），它通过引入一个不确定性量化器作为惩罚函数来解决离线强化学习中因数据集覆盖不足而导致的不足问题，并在泛化情况下对其次优性建立了数据相关的上限。

    Dec, 2020

  • 离线强化学习遗憾的快速速率

    本文研究了从固定行为策略生成的线下数据中学习无限时间折扣马尔可夫决策过程中的后悔问题，分析了$Q$-iteration（FQI）等常见方法的后悔收敛速度，并提供了较快的收敛率。其中，一种可行的方法是根据最优质量函数的任何估计，定义的策略的后悔以指数形式收敛于 $Q^*$ ，使其加速；同时，建立了这种噪声水平在线性和表形 MDP 中的应用。

    Jan, 2021

  • 离线强化学习和模仿学习的联系：一则悲观的故事

    提出了一种新的离线强化学习框架，将模仿学习和通用离线强化学习相结合，中心思想是测量从行为策略到专家策略的偏差，进一步研究了针对未知数据分布下的算法设计问题，提出了一种基于悲观策略的下限置信度算法LCB，在多臂赌博机、情境赌博机和马尔可夫决策过程中进行了有限样本性能研究，结果揭示了一些有关最优性率的令人惊讶的事实。

    Mar, 2021

  • 贝叶斯非参数方法用于离线技能发现

    本篇文章中，我们提出了一种基于离线学习的技能框架，并探索了贝叶斯非参数化与离线技能发现之间的未知联系，提出了一种无需指定技能数目的非参数化方法，结果表明该方法可以在各种环境下优于现有的离线技能学习算法。

    Feb, 2022

  • 利用离线数据进行在线强化学习

    本文考虑了具有线性结构的MDPs的FineTuneRL设置，并开发了一种称为FTPedel的算法，用于结合脱机数据和在线RL以改进学习表现，结果证明了在线样本数的必要性以及在线RL和脱机数据结合的优越性，突出了在线RL和脱机RL之间的区别。

    Nov, 2022

  • 使用离线数据进行高效在线强化学习

    本研究提出了一种简单的方法，利用离线数据来解决在线强化学习中的效率和探索性问题，通过对现有离线策略学习算法进行改进，得出了可以在各种竞争对手的基准测试中比现有方法提高2.5倍的建议。

    Feb, 2023

  • 将模仿学习和在线强化学习桥接：一篇乐观的故事

    本研究提出了一种基于离线数据集的RL算法，结合了RL和模仿学习的iRLSVI算法，可显著减少后悔度。

    Mar, 2023

  • 基于扰动数据源的可证明高效离线强化学习

    本文研究了使用多个数据集进行离线强化学习的问题，提出了一种考虑样本和数据源不确定性的算法，并在离线马尔科夫博弈和离线鲁棒强化学习方面进行了推广。

    Jun, 2023

  • 有限覆盖混合强化学习的在线算法的自然推广

    混合强化学习利用在线和离线数据，研究其可证明的好处仍然很少，通过将状态-动作空间分区和在线算法温启动离线数据，我们证明了混合强化学习算法的遗憾可以通过最佳分区来表征，从而在探索方面取得可证明的增益。

    Mar, 2024

  • 线下到线上强化学习的贝叶斯设计原则

    离线强化学习（RL）在探索可能成本高昂或不安全的真实世界应用中至关重要。然而，离线学习的策略通常是次优的，需要进一步进行在线微调。本文解决了离线到在线微调的基本困境：如果智能体保持悲观态度，可能无法学到更好的策略，而如果直接变得乐观，性能可能会突然下降。我们证明贝叶斯设计原则在解决这种困境中至关重要。智能体不应采取乐观或悲观的策略，而是应根据其对最优策略的信念采取行动。这样的概率匹配智能体可以避免性能突然下降，同时保证找到最优策略。基于我们的理论发现，我们提出了一种优于现有方法的新算法，在各种基准测试中展示了我们方法的有效性。总体而言，所提出的方法为离线到在线RL提供了一种新的视角，有潜力使离线数据的学习更加有效。

    May, 2024