通过重要性采样在自然策略梯度中重新使用历史轨迹：收敛性和收敛速率

Mar, 2024

通过重要性采样在自然策略梯度中重新使用历史轨迹：收敛性和收敛速率

Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate

Yifan Lin, Yuhao Wang, Enlu Zhou

TL;DR本文研究了一种重用历史轨迹的自然策略梯度方法变体，并证明了所提梯度估计器的偏差在渐近上是可以忽略的，算法收敛且重用过去的轨迹有助于提高收敛速度。我们进一步将所提估计器应用于流行的策略优化算法，如信任区域策略优化，并在经典基准测试上验证了我们的理论结果。

Abstract

reinforcement learning provides a mathematical framework for learning-based control, whose success largely depends on the amount of data it can utilize. The efficient utilization of historical trajectories obtained from previous policies is essential for expediting policy optimization.

reinforcement learning policy gradient methods importance sampling convergence rate trust region policy optimization

发现论文，激发创造

重要性采样的策略优化

本文提出一种新的，无模型的策略搜索算法，POIS，它适用于基于动作和基于参数的设置，可在连续控制任务中有效地解决强化学习问题，通过离线优化新的轨迹批次来定义一个替代目标函数，并使用高置信度界限来解决估计的目标函数方差问题。

Sep, 2018

无需重要性采样的 Actor-Critic 方法的离线校正

本文研究了基于离线数据的深度强化学习算法，提出了一种新的策略相似度度量方法来提高算法的采样效率和泛化能力，并且证明了该方法可以实现安全的离线学习。实验证明，该方法相较于其他竞争算法在大多数情况下能够更高效地提高学习效率。

Aug, 2022

自适应采样与重要性采样的高效梯度估计

通过提出的自适应方法和重要性采样方法，在机器学习框架中有效地整合了重要性函数，并仅通过输出层的损失梯度提出了一个简化的重要性函数，以实现在分类和回归任务中更好的收敛性和最小的计算开销。

Nov, 2023

基于参数探索的策略梯度中的高效样本重用

本文提出一种有效的基于参数探索的政策梯度算法，通过结合梯度估计的再利用、重要性采样和优化基准线等三个思想，成功地降低了算法的方差，从而实现计算高效的政策更新。理论分析和实验说明了该方法的实用性。

Jan, 2013

基于轨迹的离线深度强化学习

本文提出一种改进的基于 policy gradient 的强化学习算法，通过在参数空间中探索、重用过去的 off-policy 数据和确定性的行为策略等技术，提高了数据效率、降低了梯度估计的方差并避免了局部最优解。在一系列连续控制基准任务上的实验表明，相较于标准的 policy gradient 方法，该算法能够成功可靠地使用更少的系统交互来学习解决方案。

May, 2019

一种深度强化学习方法用于罕见事件估计

本研究旨在提出适用于顺序决策系统的两种自适应重要性采样算法，以高效地评估罕见事件的概率。该方法基于状态依赖的提议分布与目标分布之间的 Kullback-Leibler 散度最小化，用于减少精度方面的误差和处理多峰性提议分布的问题，并将多重重要性采样应用于多种基线以显示准确性改进。

Nov, 2022

策略梯度与主动重要性抽样

通过交替使用最小方差行为策略的对交叉熵估计和实际策略优化，结合防御性重要性采样，我们提供了一个迭代算法，理论上分析了该算法的收敛速度，并提供了经过数值验证的实际版本，展示了在策略梯度估计方差和学习速度方面的优势。

May, 2024

条件重要性采样用于离线学习

本文提出了一个基于条件重要性采样比的离线策略强化学习概念框架，探索了其应用于算法设计的新视角，并证实了它的理论意义及其派生算法。

Oct, 2019

使用估计行为策略的重要性采样策略评估

本文研究了马尔可夫决策过程中，利用重要性采样评估不同数据生成策略预期回报的问题。通过实验，我们发现使用估计的行为策略可降低离线策略评估的平均平方误差，尤其是在具有非马尔可夫性的情况下。

Jun, 2018

使用标准化重要性采样的 POMDP 政策改进

提出了一种新方法来从经验中估计 POMDP 的预期收益率。方法不需要任何 POMDP 知识，允许从任意策略序列中收集经验。可以为 POMDP 的任何新策略估计回报。我们从函数逼近和重要性采样的角度进行了估计器的激励并推导出其理论性质。虽然估计器存在偏差，但它的方差较小，并且在进行成对比较时偏差通常是无关紧要的。最后，将估计器扩展到具有记忆的策略，并将其在贪心搜索算法中与 REINFORCE 算法的性能进行比较，显示了需要的试验次数的数量级的减少。

Jan, 2013