Jun, 2019

何时信任你的模型：基于模型的策略优化

PDF
TL;DR本文研究模型在强化学习算法中的使用，旨在解决生成数据的容易程度与模型生成数据的偏差之间的平衡问题。作者提出了一种基于模型的强化学习算法，并探讨了模型在策略优化中的作用。实践中，作者发现模型生成的在线策略数据总是不如真实的离线数据。然而，通过将模型泛化能力的经验估计纳入到分析中，可以证明模型的使用是合理的。最后，作者展示了一种简单的方法，使用从真实数据中分支的短模型生成滚动数据，具有比其他基于模型的方法更好的样本效率，可以匹配最佳无模型算法的渐近性能，并能处理其它基于模型的算法不能处理的问题。
reinforcement learningmodel-based algorithmsdata generationpolicy optimizationmodel generalization
发现论文，激发创造
  • 强化学习中的在线策略模型误差

    本文提出了一种结合模型和真实数据的方法来弥补模型误差和偏差所带来的不足，通过将真实数据作为时间相关的学习模型的修正项以维持数据生成能力并减少预测误差，从而改进了现有的基于模型的方法。在 MuJoCo 和 PyBullet 基准测试上的实验结果表明该方法可以显著提高基于模型的方法的表现。

    Oct, 2021

  • 具有理论支持的样本重用的广义政策改进算法

    该研究提出了一类广义政策提升算法，将在线算法和离线算法相结合，在保证策略改进的同时，实现了高效数据复用，为深度强化学习的实际应用提供了可行性。

    Jun, 2022

  • 模型集成信任区域策略优化

    通过使用深度神经网络同时学习模型和策略，我们分析了基于模型的增强学习方法的行为，并展示出学习到的策略倾向于利用模型学习不足的区域，导致训练不稳定。为了解决这个问题，我们提出使用模型集合来维护模型的不确定性并规范学习过程，并进一步展示，与 “Backpropagation through time” 相比，使用 “likelihood ratio” 导数可以获得更加稳定的学习。通过我们的方法 ME-TRPO，在具有挑战性的连续控制基准任务中，显著减少了比基于模型的深度 RL 方法所需的样本数量。

    Feb, 2018

  • 离线基于模型的强化学习中设计选择的重新审视

    本研究比较不同的不确定性启发式方法，并设计新的协议来研究它们与其他超参数的交互作用，使用这些洞见，我们展示了使用 Bayesian 优化选择这些关键超参数可以产生优越的配置，这与现有手动调整的最先进方法大不相同， 从而实现了大幅度的强化学习。

    Oct, 2021

  • 模型基深度强化学习算法框架及其理论保证

    本文提出了一种新的算法框架来设计和分析具有理论保证的基于模型的强化学习算法，该框架将不确定性原则扩展到非线性动态模型，其中模型 SLBO 在连续控制基准任务上实现了最先进的性能。

    Jul, 2018

  • 继续做有效的事情：行为建模先验用于离线强化学习

    本文提出了一种能够适用于机器人控制等实际问题，同时在批处理状态下能够有效学习的算法，该算法采用了优势加权行为模型 (ABM) 来对先前执行过的成功动作进行刻画，并对新的任务中可能成功的动作进行策略偏置，实验表明我们的算法在标准连续控制基准测试和多任务学习中都有着较好的效果。

    Feb, 2020

  • 何时更新您的模型：约束模型基强化学习

    提出了一种基于模型的强化学习算法的性能保证方法，引入了一个受约束的下界优化问题，采用了事件触发机制，从而克服了模型更新对性能的影响，并在实验中证明了该方法的有效性。

    Oct, 2022

  • 基于模型的离线优化的部署高效强化学习

    本文提出了一个新概念 —— 部署效率，以衡量一个策略学习过程中使用的不同数据收集策略的数量，指出递归地使用现有的无模型离线强化学习算法不能实现实用的部署效率和样本效率，因此提出了一种名为 BREMEN 的新型基于模型的算法，在仅使用 10-20 倍于以前工作的数据的情况下，能够有效地离线优化策略，实现出色的部署效率和样本效率的学习，并使用仅 5-10 次部署即可在模拟的机器人环境中从头开始成功地学习策略，而标准强化学习基线的典型值是数百万次。

    Jun, 2020

  • 强化学习的高效离线策略评估

    本文提出了一种新的方法来预测在给定历史数据的情况下，加强学习策略的表现。通过在模型基础评估和重要性采样评估之间进行混合，提出一个基于双重稳健估计器扩展的新估计器，使得估计结果的均方误差通常比现有方法低几个数量级。

    Apr, 2016

  • 反馈即所需：基于近似物理模型的真实世界强化学习

    本文提出了一种基于策略梯度的策略优化框架，可以通过可能高度简化的一阶模型对实际数据进行监督学习，从而设计出精确的控制策略。

    Jul, 2023