Mar, 2021

离线强化学习和模仿学习的联系：一则悲观的故事

HTML
PDF
TL;DR提出了一种新的离线强化学习框架，将模仿学习和通用离线强化学习相结合，中心思想是测量从行为策略到专家策略的偏差，进一步研究了针对未知数据分布下的算法设计问题，提出了一种基于悲观策略的下限置信度算法LCB，在多臂赌博机、情境赌博机和马尔可夫决策过程中进行了有限样本性能研究，结果揭示了一些有关最优性率的令人惊讶的事实。
发现论文，激发创造
  • 何时应该优先选择离线强化学习而不是行为克隆？

    本文研究离线强化学习在何种情况下可以胜过仅仅利用专家数据的行为克隆算法，结果表明：可以在特定的条件下，如稀疏奖励或嘈杂的数据源，现代离线学习方法可以显着地胜过行为克隆算法，尤其是在长期视野问题上，甚至比专家数据上的行为克隆算法更好。

    Apr, 2022

  • 一种面向离线强化学习的策略引导仿真方法

    该研究提出了一种Policy-guided Offline RL算法，该算法在训练时将想法分解为指导策略和执行策略，并通过指导策略来指导执行策略以实现状态组合性。该算法在离线RL的标准基准D4RL上展示了最高效的性能，并可以通过改变指导策略来轻松适应新的任务。

    Oct, 2022

  • 利用离线数据进行在线强化学习

    本文考虑了具有线性结构的MDPs的FineTuneRL设置，并开发了一种称为FTPedel的算法，用于结合脱机数据和在线RL以改进学习表现，结果证明了在线样本数的必要性以及在线RL和脱机数据结合的优越性，突出了在线RL和脱机RL之间的区别。

    Nov, 2022

  • 使用离线数据进行高效在线强化学习

    本研究提出了一种简单的方法，利用离线数据来解决在线强化学习中的效率和探索性问题，通过对现有离线策略学习算法进行改进，得出了可以在各种竞争对手的基准测试中比现有方法提高2.5倍的建议。

    Feb, 2023

  • 将模仿学习和在线强化学习桥接：一篇乐观的故事

    本研究提出了一种基于离线数据集的RL算法，结合了RL和模仿学习的iRLSVI算法，可显著减少后悔度。

    Mar, 2023

  • 利用离线数据加速程序生成环境下的强化学习

    研究了强化学习中采用离线轨迹进行数据增强的方法，发现采用离线轨迹进行前置训练或同时进行在线强化学习和离线轨迹训练均能提高样本效率和收敛到最优策略, 预训练只需要两条轨迹数据即可对最终学习结果产生较大影响。

    Apr, 2023

  • 使用梯度对抗不确定性：通过扩散分数匹配实现脱机强化学习

    该研究探究了使用离线RL和IL进行策略搜索算法的离线优化范式，并要求更加小心地考虑这些方法是如何与不确定性评估相互作用的。同时，该研究提出了一种名为Score-Guided Planning（SGP）的规划算法，它利用分数匹配来实现高维问题中的一阶规划。

    Jun, 2023

  • 超越均匀采样：利用不平衡数据集的离线强化学习

    离线策略学习旨在利用现有的轨迹数据集来学习决策策略，而无需收集额外数据。我们通过提出一种采样策略并将其作为标准离线强化学习算法的即插即用模块，从而解决了现有算法在完全优化数据集的情况下性能提升有限的问题。我们的评估表明，在72个不平衡数据集、D4RL数据集以及三个不同离线强化学习算法中均取得了显著的性能改进。

    Oct, 2023

  • 无穷时间MDP的离线数据高效在线学习: 一种贝叶斯方法

    本文研究了在线强化学习问题在无限时间段环境中的高效解决方法，其中假设有一个离线数据集作为起点，由一个未知能力水平的专家生成，我们展示了如果学习代理建模了专家使用的行为策略，它可以在最小化累计遗憾方面表现得更好，我们建立了一个前瞻性依赖先验的遗憾界限，提出了近似的被告知RLSVI算法，可以解释为使用离线数据集进行模仿学习，然后进行在线学习。

    Oct, 2023

  • 关于样本高效的离线强化学习：数据多样性，后验采样和更多

    我们提出了一个新颖的基于后验采样的离线RL算法，该算法在样本效率方面表现出与基于版本空间和经验正则化的算法可比拟的性能，并且具有频率主义的亚优性界限。

    Jan, 2024