ICLRMar, 2020

Atari 深度强化学习中数据效率评估需使用适当的基线

PDF
TL;DR该研究论文探讨了如何提高深度增强学习的数据效率，并证明了新提出的技术并没有真正提高数据效率，而是增加了复杂性和计算成本，提出了一种新的改进的 DQN 算法，并建议将其作为未来改进深度强化学习数据效率的基准。
reinforcement learningdata efficiencydqn algorithmtraining updatessample efficiency
发现论文，激发创造
  • 基于批次的深度强化学习算法基准测试

    本研究在 Atari 领域中利用单个部分训练的行为策略生成的数据对最近的离线策略和批量强化学习算法的性能进行了基准测试，并发现在这些条件下，许多算法表现不佳，而 Batch-Constrained Q-learning 算法适应离散动作环境后在这项任务中表现最佳。

    Oct, 2019

  • DQN 中的泛化和正则化

    本研究提出了一种在不同 Atari 2600 游戏模式下进行强化学习泛化评估的方法，并证明 DQN 存在过度训练环境的问题；通过适当运用 dropout 和正则化，以及优化表示来提高泛化能力，有效提升 DQN 的样本效率。

    Sep, 2018

  • 使用浅层强化学习技术控制 Atari 游戏的现状

    本文研究深度强化学习算法 DQN 在 Atari 2600 游戏中成功的关键，并提供一种通用的表示方法，以减轻对每个游戏进行表示学习的负担，并为未来 ALE 计算机学习领域提供了可复制和可比性的基准。

    Dec, 2015

  • 高效深度强化学习需要控制过拟合

    本文通过对 DeepMind 控制套件中的任务进行控制和系统性分析，研究了数据高效 RL 的瓶颈，发现高 TD 错误是深度强化学习算法性能严重影响的主要罪魁祸首，因此，在任何形式的监督学习中，利用任何形式的正则化技术，找到验证 TD 误差的最低点是使深度 RL 高效的一个强有力的原则。一个简单的在线模型选择方法针对验证 TD 错误在基于状态的 DMC 和 Gym 任务中也是有效的。

    Apr, 2023

  • 双 Q 学习的深度强化学习

    本文针对 DQN 算法中 Q-learning 超估计行动价值的问题，提出了 Double Q-learning 算法，通过将其与深度神经网络结合得到了一种新的算法，并在数个游戏里得到了更好的表现。

    Sep, 2015

  • 有限数据下的 Atari 游戏掌握

    EfficientZero 是一种基于 MuZero 的样本有效的模型图像强化学习算法，在只有两个小时实时游戏体验的情况下，在 Atari 100k 基准测试上取得了 194.3％的人类平均性能和 109.0％的中位性能，并且在一些 DMControl 100k 基准测试中胜过了 state SAC 算法，是第一次用如此少的数据量实现超越人类的 Atari 游戏算法。

    Oct, 2021

  • 在 Atari 中从人类偏好和演示中进行奖励学习

    本研究使用深度神经网络进行强化学习，将人工反馈的目标作为奖励函数输入，并结合了专家演示与轨迹优先学习两种方法。实验在 9 个 Atari 游戏中超越了模仿学习的基线，并在其中 2 个游戏中获得了超人的表现，同时研究了奖励模型拟合度、奖励篡改问题和人类标签噪声的影响。

    Nov, 2018

  • 重新审视 Rainbow：促进更具启示性和包容性的深度强化学习研究

    本文讨论在计算资源不足的情况下，重点研究小规模环境对于强化学习的科学洞见和降低贫困社区进入门槛的重要性，并通过更深入的研究 Rainbow 算法来证实此论点。

    Nov, 2020

  • Atari 游戏中联合视频帧和奖励预测的深度学习方法

    本文介绍一种在高维视觉状态空间下学习动态系统和奖励函数的方法，将视觉帧预测的深度神经网络扩展为同时预测奖励，利用联合优化问题最小化奖励和视觉帧的重构误差，并在五个 Atari 游戏上经过实证评估，取得了高达 200 帧的准确累计奖励预测结果。

    Nov, 2016

  • Rainbow: 深度强化学习的综合改进

    本文通过详尽的消融研究，考察了 6 种方法扩展 DQN 算法，实验结果表明这些方法的综合应用取得了 Atari 2600 基准测试最先进的性能，在数据效率和最终性能方面都取得了显著的改善。

    Oct, 2017