May, 2019

基于轨迹的离线深度强化学习

HTML
PDF
TL;DR本文提出一种改进的基于 policy gradient 的强化学习算法，通过在参数空间中探索、重用过去的 off-policy 数据和确定性的行为策略等技术，提高了数据效率、降低了梯度估计的方差并避免了局部最优解。在一系列连续控制基准任务上的实验表明，相较于标准的 policy gradient 方法，该算法能够成功可靠地使用更少的系统交互来学习解决方案。
发现论文，激发创造
  • 基于参数探索的策略梯度中的高效样本重用

    本文提出一种有效的基于参数探索的政策梯度算法，通过结合梯度估计的再利用、重要性采样和优化基准线等三个思想，成功地降低了算法的方差，从而实现计算高效的政策更新。理论分析和实验说明了该方法的实用性。

    Jan, 2013

  • 批量离策略搜索的同时扰动算法

    本篇论文提出了针对离线、批处理强化学习中连续状态和动作空间的新型策略搜索算法，这些算法包括第一和第二阶策略梯度以及Newton算法，并且在梯度和代价向量中同时实现了偏差估计。该论文在一个简单的一维连续状态空间问题上证明了算法的实用性。

    Mar, 2014

  • 插值策略梯度：将在线策略和离线策略梯度估计相结合的深度强化学习方法

    本文系统地研究了深度强化学习中混合使用on-policy和off-policy更新方法，设计了一种基于控制变量方法的算法来有效结合两者，探讨了不同更新方法的优缺点和影响因素，并在多个开源深度控制测试中展示出了本算法的先进性。

    Jun, 2017

  • 重要性采样的策略优化

    本文提出一种新的，无模型的策略搜索算法，POIS，它适用于基于动作和基于参数的设置，可在连续控制任务中有效地解决强化学习问题，通过离线优化新的轨迹批次来定义一个替代目标函数，并使用高置信度界限来解决估计的目标函数方差问题。

    Sep, 2018

  • 无探索非策略深度强化学习

    本文提出了一种新的批量约束强化学习算法，该算法可以从任意固定批量数据中有效学习，为解决强化学习中的一些关键问题提供可能性。

    Dec, 2018

  • 轨迹控制变量在策略梯度方法中的方差减少应用

    该研究分析控制变量技术在策略梯度方法中应用的属性和缺陷，并提出了一种新的、递归构造的迹线方法，用于在合理假设下进一步降低方差。

    Aug, 2019

  • 蒙特卡罗批判优化引导强化学习中的探索

    本文提出了一种基于差分定向控制器的指引式探索方法，采用可扩展的探索行为修正，提高了传统探索方案的效率，并为政策和评论者修改提供了一种新算法，优于DMControl套件中现代强化学习算法.

    Jun, 2022

  • 无需重要性采样的Actor-Critic方法的离线校正

    本文研究了基于离线数据的深度强化学习算法，提出了一种新的策略相似度度量方法来提高算法的采样效率和泛化能力，并且证明了该方法可以实现安全的离线学习。实验证明，该方法相较于其他竞争算法在大多数情况下能够更高效地提高学习效率。

    Aug, 2022

  • 深度强化学习中的政策梯度综合指南：理论、算法与实现

    基于政策梯度定理的深度强化学习中，各种强大的政策梯度算法已被提出。本论文提供了对政策梯度算法的整体概述，旨在促进对其理论基础和实际实现的理解，包括连续版本的政策梯度定理的详细证明、收敛性结果以及对实际算法的全面讨论。通过在连续控制环境中比较最重要的算法并提供正则化的好处方面的见解，进一步加强了对主题的认识。

    Jan, 2024

  • 用随机策略梯度学习最优确定性策略

    通过比较基于动作和基于参数的探索，本论文介绍了一种理论框架以及对全局收敛性的研究，用于理解强化学习中连续问题的策略梯度方法，可以通过学习确定性策略来优化采样复杂度和性能之间的权衡。

    May, 2024