使用强调加权的离线策略梯度定理

Nov, 2018

使用强调加权的离线策略梯度定理

An Off-policy Policy Gradient Theorem Using Emphatic Weightings

Ehsan Imani, Eric Graves, Martha White

TL;DR本文提出了第一个适用于 off-policy learning 的 policy gradient 定理，并通过使用 emphatic weightings 导出了简化的梯度公式，并使用 Actor Critic with Emphatic weightings (ACE) 算法验证了该定理的正确性。

Abstract

policy gradient methods are widely used for control in reinforcement learning, particularly for the continuous action setting. There have been a host of theoretically sound algorithms proposed for the on-policy setting, due to the existence of the policy gradient theorem which provides

policy gradient methods reinforcement learning off-policy learning emphatic weightings actor critic with emphatic weightings (ace)

发现论文，激发创造

离策演员 - 评论家

本研究提出了一种在线的增量式 actor-critic 算法来应对现实生活中的多种问题，在采用 off-policy 学习和最新的 gradient temporal-difference 技术的同时，能够灵活地运用 policy 设计，具有较强的学习潜力和泛化性能，并能收敛至较好的算法性能。

May, 2012

基于离线训练和函数近似的收敛演员 - 评论家算法

我们提出了第一种同时适用于状态值和策略函数逼近的政策梯度算法，保证在离线学习下收敛，解决了动作表示问题带来的高维 “诅咒” 问题，这些算法是基于基于平均状态值函数目标的渐变高演员 - 评论家和强调梯度的高演员 - 评论家推导而来，能够保持所有经典 Actor-Critic 方法的优点，并且在功能逼近方面被证明是可收敛的。

Feb, 2018

通用离线演员 - 评论家

提出了一个新的目标函数，counterfactual objective，用于解决连续强化学习中离线策略梯度算法中的问题，得到了广义离线策略梯度定理，并发展出了广义离线行动者 - 评论者算法（Geoff-PAC），通过模拟机器人实验表明其优于现有算法。

Mar, 2019

用于演员 - 评论家算法中有效策略更新的政策梯度定理以外的方法

本文针对一些弊端特征，通过引入新的策略更新方法并证明其全局最优的收敛保证，提出了一种优化智能体策略的实用性改进，相较于常规的策略跟新，更新速度更快，关键在于其具有结构上的非对称性。

Feb, 2022

深度强化学习的期望强调痕迹学习

本文研究将强化权重与非连续、离线数据相结合以提高样本效率，同时在 Atari 2600 电子游戏上测试了新的 X-ETD（n）算法，证明了其可扩展性和广泛适用性。

Jul, 2021

一种强调的离线时序差分学习方法

本文介绍了通过有选择地加强或减弱不同时间步骤的更新来改善参数化时序差分学习算法的性能，并且提出了一种新的增强 TD (λ) 算法，相较于之前的方法，它更简单易用，只有一个学习参数向量和一个步长参数，含有状态相关折扣函数和自举函数，并且能够根据需要确定不同状态的精确定价程度。

Mar, 2015

分布式策略优化：连续控制的另一种方法

研究提供了一种新的基于分布框架的生成式策略梯度算法 (GAC) 来解决现有的策略梯度方法由于限制策略表示为参数分布类而导致的局部移动及收敛到亚最优解的问题。该方法不需要知道分布函数，可以有效处理连续控制问题。实验结果显示 GAC 方法优于当前最先进的基线方法。

May, 2019

一种时差方法用于策略梯度估计

本文提出一种无需特定抽样策略即可从起始状态重构策略梯度的新方法。通过使用来自离线数据流的梯度评论家的时序差异更新，开发了首个可以无模型地避开分布转移问题的估计器。实验证明，其具有良好的偏差 - 方差平衡和性能表现。

Feb, 2022

基于确定性策略搜索的离线平均回报演员 - 评论家算法

本文研究了强化学习中平均回报和折扣回报的区别，提出了面向平均回报的策略梯度定理，同时开发了基于此理论的 Average Reward Off-Policy Deep Deterministic Policy Gradient (ARO-DDPG) 算法。实验结果表明，ARO-DDPG 在 MuJoCo 环境中优于现有的基于平均回报的策略方法。

May, 2023

离策略和同策略策略梯度方法何时一致？

政策梯度方法是广泛应用于具有连续动作空间的任务的强化学习算法，本研究探讨了远离策略目标和传统的在线策略目标之间的差异，并提供了首个理论分析以及条件减小差距的经验证据。

Feb, 2024