强化学习中最小化 - 最优化奖励无关探索

Apr, 2023

强化学习中最小化 - 最优化奖励无关探索

Minimax-Optimal Reward-Agnostic Exploration in Reinforcement Learning

Gen Li, Yuling Yan, Yuxin Chen, Jianqing Fan

TL;DR本文研究了强化学习中的无奖励探索并设计了一种算法来提高其效率，该算法不需要提前了解奖励函数。算法最多需要采集 SAH^3/ε^2 个样本轨迹就能对于所有感兴趣的奖励函数找到 ε-optimal 策略，而且算法还能在样本量超过 S^2AH^3/ε^2 个轨迹时无限找到 ε-optimal 策略，即便这些奖励函数是对抗性设计的。

Abstract

This paper studies reward-agnostic exploration in reinforcement learning (RL) -- a scenario where the learner is unware of the reward functions during the →

reinforcement learning exploration algorithm optimality offline rl

发现论文，激发创造

强化学习的无奖励探索

该论文提出了一个新的 “无奖励强化学习” 框架，通过在探索阶段从 MDP 采集轨迹来找到探索策略，并使用黑盒近似规划器计算接近最优的策略。

Feb, 2020

几乎极小化最优无奖学习

研究奖励免费强化学习框架，提出新的有效算法 SS+TP，通过探索和计划两个阶段，分别进行轨迹收集和任意奖励函数优化，达到对多个奖励函数的策略优化。

Oct, 2020

强化学习中的无任务探索

该研究提出了一种称为任务不可知强化学习 (task-agnostic RL) 的框架，用于解决强化学习中的有效探索挑战，该框架利用样本奖励值和一系列探索轨迹来发现复杂任务的最优策略，并给出了基于样本奖励值的有效算法 UCBZero。

Jun, 2020

通过最大化 Rényi 熵进行无奖励强化学习框架探索

通过最大化 Renyi 熵的方法，提出了一种适用于元 RL 的无奖励强化学习框架，该框架有效地解决了探索和利用分离的问题，并设计了相应的强化学习算法 (batch RL algorithm) 以便在规划阶段中能更好地处理任意奖励函数。

Jun, 2020

自适应无奖励探索

我们提出了一种新的自适应奖励免费探索方法，直接降低最大 MDP 估计误差的上限并证明了 RF-UCRL 算法具有良好的采样复杂性界限，可以看作是 Fiechter 算法的变体，该算法最初是针对另一种目标：最佳策略识别。

Jun, 2020

强化学习中的保守探索

本文介绍了在概率有限马尔可夫决策问题中引入保守探索的概念，并提出了两种乐观算法，以保证学习过程中不违反保守约束，这不会妨碍算法的学习能力，并给出了后悔界限。

Feb, 2020

超越乐观：具有部分可观察奖励的探索

通过提出一种新的探索策略，克服现有方法的局限性，即使奖励不总是可观察到，也能保证收敛到最佳策略。我们还提出了一系列用于在强化学习中进行探索的表格环境（有或没有不可观察的奖励），并展示我们的方法优于现有方法。

Jun, 2024

具有广义函数近似的考虑不确定性的无奖励探索

通过探索和学习在环境中掌握多个任务是强化学习中一个重要的挑战。本文介绍了一种无需奖励的强化学习算法，其中的关键思想是通过不确定性感知的内在奖励来探索环境，并通过不同样本的不确定性加权学习处理异质性不确定性，通过在 DeepMind Control Suite 的各个领域和任务上的实验结果表明，该算法优于或与现有的无监督强化学习算法的性能相当。

Jun, 2024

基于核和神经函数逼近的无奖励强化学习：单智能体马尔可夫决策过程和马尔可夫博弈

该研究针对强化学习中探索困境的问题，研究了无奖励的强化学习问题，提出了一种基于内核和神经函数逼近的乐观 value 迭代探索算法，证明了该方法可以在提供任意外界奖励的情况下，实现产生准最优策略或近似 Nash 均衡的复杂性为 O (1/epsilon^2) 的采样复杂度，是首个可以证明有效的应用内核和神经函数逼近的无奖励强化学习算法。

Oct, 2021

具可证明效率的基于线性值迭代的奖励非相关导航

本文提出了一种基于 Bellman 误差的最小平方价值迭代算法的线性函数逼近学习方法，通过足够的探索可以提供强有力的 PAC 保证，并且采用无奖赏情况下计算可行的算法，通过纯探索收集样本可以得到相同级别的 PAC 保证。

Aug, 2020