轨迹 - wise 奖励的可证明高效离线强化学习

Jun, 2022

轨迹 - wise 奖励的可证明高效离线强化学习

Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward

Tengyu Xu, Yue Wang, Shaofeng Zou, Yingbin Liang

TL;DR本文提出了一种新颖的离线 RL 算法，PARTED，可将轨迹回报分解为逐步代理奖励，具有一定的收敛上界，该算法可以有效地处理观察到的轨迹奖励问题。

Abstract

The remarkable success of reinforcement learning (RL) heavily relies on observing the reward of every visited state-action pair. In many real world applications, however, an agent can observe only a score that represents the quality of the whole trajectory, which is referred to as the

reinforcement learning offline rl trajectory-wise reward value iteration neural networks

发现论文，激发创造

通过随机回报分解学习长期奖励再分配

本文提出了一种基于 RRD (Randomized Return Decomposition) 算法的代理奖励机制，从而解决了强化学习中因奖励稀疏和延迟所引起的问题，并在基准任务上获得了显著的改进。

Nov, 2021

基于轨迹的稀疏奖励策略优化

利用离线演示轨迹的强化学习方法，通过最大均值差异（MMD）计算轨迹距离并将策略优化视为一种受距离限制的优化问题，从离线演示学习到的形状奖励函数实现了与离线演示相匹配的状态 - 动作访问边缘分布，从而在稀疏奖励环境下提供了更快且更高效的在线强化学习方法。

Jan, 2024

面对混淆因素的悲观主义：部分可观察马尔可夫决策过程中可证明高效的离线强化学习

研究通过行为策略收集的数据集来学习优化策略的离线强化学习算法，并针对潜在状态的影响所产生的混淆偏差和最优策略与行为策略之间的分布转换问题，提出了代理变量悲观策略优化（P3O）算法。

May, 2022

使用重尾分布奖励的鲁棒离线策略评估和优化

这篇论文旨在增强离线强化学习在实际应用场景中具有重尾奖励的鲁棒性。我们提出了两个算法框架 ROAM 和 ROOM，分别用于鲁棒的离线策略评估和离线策略优化。这些框架的核心是将均值中位数方法与离线强化学习相结合，从而能够直接估计值函数估计器的不确定性。理论结果和广泛的实验证明，我们的两个框架在具有重尾奖励分布的日志数据集上优于现有方法。

Oct, 2023

几乎极小化最优无奖学习

研究奖励免费强化学习框架，提出新的有效算法 SS+TP，通过探索和计划两个阶段，分别进行轨迹收集和任意奖励函数优化，达到对多个奖励函数的策略优化。

Oct, 2020

VIPeR: 基于神经函数近似的离线强化学习可证明高效算法

该研究提出了一种称为 VIPeR 的新算法，将悲观主义原则与值函数的随机扰动相结合，用于弥补当前离线 RL 算法在使用神经网络近似值函数的复杂问题上无法轻松扩展的局限，实现了具有集成学习功能的离线 RL 算法。

Feb, 2023

通过悲观主义实现最优离线强化学习

本文研究了离线强化学习问题，特别是针对有限时间视野 MDPs 的离线强化学习问题的采样效率问题，提出了自适应悲观值迭代算法，并推导了其次优性上界，推广到了无任何假设的情况下，并得到了无假设的本质学习下界，揭示了离线强化学习固有的根本限制。

Oct, 2021

悲观策略在离线强化学习中能被证明是高效的吗？

本文提出了一种悲观的价值迭代算法（PEVI），它通过引入一个不确定性量化器作为惩罚函数来解决离线强化学习中因数据集覆盖不足而导致的不足问题，并在泛化情况下对其次优性建立了数据相关的上限。

Dec, 2020

策略优化中可证明高效的探索

本文提出了一种 Proximal Policy Optimization 算法的乐观变异版本（OPPO），它实现了在带有线性函数拟合、未知转移和对抗奖励的情况下，探索机制下的近似最优解，是第一种实现这一目标的算法。

Dec, 2019

离线约束强化学习的低秩 MDP 原始 - 对偶算法

该论文提出了一种用于解决低秩 Markov 决策过程的离线强化学习算法，该算法在折扣无限时间段设置中具有较低的样本复杂度，且支持离线约束强化学习设置。

Feb, 2024