通过本地规划实现样本高效深度强化学习

Jan, 2023

通过本地规划实现样本高效深度强化学习

Sample Efficient Deep Reinforcement Learning via Local Planning

Dong Yin, Sridhar Thiagarajan, Nevena Lazic, Nived Rajaraman, Botao Hao...

TL;DR本文提出了一种名为 “不确定性优先本地规划” 的算法框架，结合模拟器的属性，在每一次数据收集迭代中，以一定概率将环境重置到高度不确定性的已观测状态，这样可以显著提高几个基准强化学习算法在困难的探索任务上的样本成本，并在 Atari 游戏 Montezuma's Revenge 中实现了超人类性能。

Abstract

The focus of this work is sample-efficient deep reinforcement learning (RL) with a simulator. One useful property of simulators is that it is typically easy to reset the environment to a previously observed state

sample-efficient deep reinforcement learning uncertainty-first local planning simulators atari game double dqn

发现论文，激发创造

带不确定性的规划：模型基强化学习中的深度探索

本文研究了深度模型与强化学习中的样本效率问题。通过将认知不确定性引入到计划树中，规避了标准方法的不确定性传播，并通过 MuZero 算法进行了评估验证。实验结果表明，可以通过不确定性规划实现有效的深度探索，从而显著提高样本效率。

Oct, 2022

在线强化学习中的复位的力量

使用局部模拟器访问（或本地规划）的在线强化学习协议探索了模拟器在高维度域中的力量，并通过一个计算效率低的算法取得了具有低覆盖性的 MDPs 的有效学习和可追溯性，同时利用 RVFS 算法提供了在推进覆盖性的统计假设下的可靠样本复杂度保证。

Apr, 2024

加速强化学习的人类启发式框架

本文提出了一种基于人类启发的框架以提高采样效率，其中通过逐步提供简单但相似的任务来适应复杂的强化学习任务，并且使用任何转移学习方法来减少样本复杂性而不增加计算复杂性，实验表明该框架能够在优化问题方面表现出良好的性能。

Feb, 2023

基于分布式强化学习的高效探索技术

本论文提出的一种深度深度强化学习探索方法具有两个组成部分：有一个递减的时间表来抑制内在不确定性，一个探索奖励是从所学分布的上分位数中计算出来的，实验结果表明，我们的算法在 14 个 Atari 2600 游戏中有 12 个游戏取得了比 QR-DQN 更好的成绩，在难度较大的 3D 驾驶模拟器 (CARLA) 中，我们的算法安全奖励达到了近乎最优，比 QRDQN 快两倍。

May, 2019

快照强化学习：利用先前轨迹提高效率

该论文提出了 Snapshot Reinforcement Learning (SnapshotRL) 框架，通过改变环境而不修改算法和模型来提高采样效率，实验证明将 S3RL 与 TD3、SAC 和 PPO 算法相结合可以显著提高 MuJoCo 基准测试的采样效率和平均回报。

Mar, 2024

面对环境不确定性的高样本效率鲁棒多智能体强化学习

为了解决强化学习中的模拟到实际之间的差距，学习策略必须对环境不确定性保持鲁棒性。本研究着重于多智能体环境中学习分布鲁棒马尔可夫博弈，提出基于模型的 DRNVI 算法来学习各种博弈论平衡的鲁棒变种，同时建立了信息论下界以确认 DRNVI 的近乎最优样本复杂度。

Apr, 2024

具有潜在动态信息的可证明样本效率强化学习

本文研究了在观测结果高维的情况下，强化学习智能体如何使用对状态空间结构的抽象知识来学习目标领域中的任务。提出了一种名为 TASID 的算法，该算法学习目标任务的健壮策略，其采样复杂度是地平线次数的多项式，并且可以利用先前的知识独立于状态数。

May, 2022

使用线性函数逼近实现高效的本地规划

研究使用线性函数逼近和模拟器的查询和计算高效的计划算法，在这种情况下，我们提出了名为 “Confident MC-LSPI” 和 “Confident MC-Politex” 的两种算法，同时证明了我们的算法在特征，有效规划控制范围和目标次优性的维度中具有多项查询和计算成本，而这些成本与状态空间的大小无关。

Aug, 2021

基于模型内在动机的离策略学习与主动在线探索

通过引入预测模型和离线学习元素，结合一个实用性较高的终端价值函数，本文研究了如何在连续控制任务中实现样本高效的探索能力。通过利用潜在状态空间内的前向预测误差，我们得出了一种不引入额外参数的固有奖励。该奖励与模型不确定性有强烈的关联，使得智能体能够有效地克服渐进性能差距。通过广泛的实验证明，我们的方法在与以往工作的比较中表现出有竞争力的甚至更优异的性能，尤其是在稀疏奖励的情况下。

Mar, 2024

一种可证明有效的强化学习样本采集策略

本文提出了一种解决在线强化学习中勘探 - 利用问题的解耦方法，其中包括一种目标特定的算法和一种负责尽快生成预定样本的目标不可知的样本收集方法，并且利用这种方法在不同领域获得了增强的样本复杂度保证。

Jul, 2020