通过分集反向更新实现高样本效率的深度强化学习

May, 2018

通过分集反向更新实现高样本效率的深度强化学习

Sample-Efficient Deep Reinforcement Learning via Episodic Backward Update

Su Young Lee, Sungik Choi, Sae-Young Chung

TL;DR本文提出了具有直接价值传播能力的一种新型深度强化学习算法 ——Episodic Backward Update (EBU)。与传统方法通过经验重放的方式使用均匀随机采样不同，我们的算法通过采样整个回合并将状态值连续传递到前一状态。我们的递归算法实现了高效的计算，允许稀疏和延迟奖励直接通过所采样的全部转移。我们在理论上证明了 EBU 方法的收敛性，并在确定性和随机化环境下进行了实验。尤其是在 Atari 2600 领域的 49 个游戏中，EBU 方法仅使用 5% 和 10% 的采样，就能实现与 DQN 相同的平均和中位数人类归一化性能。

Abstract

We propose episodic backward update (EBU) - a novel deep reinforcement learning algorithm with a direct value propagation. In contrast to the conventional use of the experience replay with uniform random sampling

episodic backward update deep reinforcement learning value propagation sparse rewards atari 2600

发现论文，激发创造

通过乐观自举和反向归纳进行原则性探索

本文提出了一种适用于深强化学习的探索方法，通过乐观自举和向后归纳 (OB2I) 构建了一个通用的 UCB-bonus 用于估计状态动作对的认知不确定性，与线性设置中的 LSVI-UCB 有理论联系并在 MNIST 迷宫和 Atari 游戏套件中实现了更好的效果。

May, 2021

利用过去的在线调整进行快速深度强化学习

我们提出了 “短暂价值调整（Ephemeral Value Adjustments，EVA）”：一种允许深度强化学习代理快速适应其回放缓冲区中的经验的方法。EVA 通过估计从当前状态附近的回放缓冲区中的经验组成的价值函数来转移神经网络预测的价值。EVA 结合了围绕将类似于情节记忆结构组合到强化学习代理中的一些最近想法：基于插槽的存储、基于内容的检索和基于记忆的规划。我们展示了在演示任务和 Atari 游戏上 EVA 的执行效果。

Oct, 2018

扩展状态奖励空间的情节强化学习

通过引入扩展状态 - 奖励空间的高效 EC-based DRL 框架，我们的方法能够同时充分利用检索信息和通过时序差分 (TD) 损失更好地评估状态值，从而在具有挑战性的任务中表现出优越性。

Jan, 2024

通过贝叶斯深度 Q 网络实现高效探索

这篇论文研究了高维情境下的强化学习，提出了两种基于乐观法和后验采样的算法来解决此问题，并扩展了该方法应用在深度强化学习上，所提出的贝叶斯深度 Q 网络通过采用贝叶斯线性回归的方法调整 Q-networks 的学习方式，使其能够充分平衡探索与执行间的权衡，更加有效地应用在 Atari 游戏中。

Feb, 2018

拓扑经验重放

本文提出了一种基于图的 Q 学习方法，通过对状态间 Q 值依赖进行跟踪并进行宽度优先处理，能够更加高效地使用有限的经验来更新 Q 值，并在多个任务上获得了比传统方法更好的效果。

Mar, 2022

永不放弃：学习有向探索策略

本篇论文提出了一种基于强化学习和 UVFA 框架的方法，通过学习一系列定向的探索策略来解决难以探索的游戏，并使用轨迹存储和 kNN 算法来构造一种内在奖励信号，以影响策略的学习方式，并在 Atari-57 游戏套件中得到了很好的表现结果。

Feb, 2020

通过椭圆周期性奖励进行探索

研究了强化学习（RL）方法在探索复杂环境时的有效性，并引入通过椭圆形周期性奖励探索方法（E3B）以扩展计数周期性奖励至连续状态空间，使用反向动力学模型学习嵌入以捕获环境可控方面，可扩展到高维像素感知和现实环境中。在挑战任务中实现了全新的 state-of-the-art，而不需要特定于任务的归纳偏差，并在稀疏奖励、基于像素的 VizDoom 环境中与现有方法匹配，在 Habitat 上的无奖励探究中优于现有方法。

Oct, 2022

神经元事件控制

本文提出了一种深度强化学习代理 —— 神经记忆控制器，该代理能够快速地接受和处理新经验并表现出针对这些经验的行为，并使用半表格化价值函数表示：包含缓慢变化状态表示和快速更新价值函数估计的过去经验缓冲区。研究表明，与其他最先进的通用型深度强化学习代理相比，该代理在各种环境中学习速度明显更快。

Mar, 2017

不确定贝尔曼方程与探索

本文中，我们考虑了强化学习中的探索 / 利用问题，提出了不确定性 Bellman 方程 (UBE) 来扩展策略的潜在探索利益，并证明了该方程的唯一不动点产生的方差上限是由任何策略引起的 Q 值的后验分布，相较于传统的基于计数的奖励方法，它控制了方差，将 UBE 探索策略替换为 ε-greedy 可提高在 Atari 游戏中 DQN 性能的表现。

Sep, 2017

情节记忆深度 Q 网络

本文提出了一种基于生物学启发的强化学习算法 Episodic Memory Deep Q-Networks（EMDQN），该算法利用情节内存来监督代理在训练过程中，实验表明我们提出的方法可以提高样本效率，更容易找到好策略，在 Atari 游戏上只需要 1/5 的交互就能达到许多具有最先进性能的情况，明显优于常规 DQN 和其他情节记忆基 RL 算法。

May, 2018