基于模型的 Atari 强化学习

Mar, 2019

Model-Based Reinforcement Learning for Atari

Lukasz Kaiser, Mohammad Babaeizadeh, Piotr Milos, Blazej Osinski, Roy H Campbell...

TL;DR这篇文章介绍了基于视频预测模型的 Simulated Policy Learning 方法，该方法通过在仅与环境交互 100k 次（两小时实时游戏）的情况下，在多个 Atari 游戏中实现比现有的基于模型无关的方法更好的表现。

Abstract

model-free reinforcement learning (RL) can be used to learn effective policies for complex tasks, such as atari games, even from image observations. However, this typically requires very large amounts of interact

model-free reinforcement learning video prediction models simulated policy learning atari games deep rl algorithm

发现论文，激发创造

Atari 游戏中联合视频帧和奖励预测的深度学习方法

本文介绍一种在高维视觉状态空间下学习动态系统和奖励函数的方法，将视觉帧预测的深度神经网络扩展为同时预测奖励，利用联合优化问题最小化奖励和视觉帧的重构误差，并在五个 Atari 游戏上经过实证评估，取得了高达 200 帧的准确累计奖励预测结果。

Nov, 2016

深度无模型强化学习中的感知学习

本文提出了一个用于强化学习（RL）的新型无模型代理人，从视觉关注和主动感知的概念中受到启发，将人类注意力机制应用于代理人，创建了一种硬式关注机制，结合了 RAM 模型和 PPO 算法，在两个 Atari 游戏中比较其性能，结果表明我们的模型能够匹配 PPO+LSTM 的表现。

Jan, 2023

使用深度强化学习玩 Atari 游戏

本文介绍了一种使用卷积神经网络和增强学习从高维感知输入中直接学习控制策略的深度学习模型，并将其应用于七个 Atari 2600 游戏中，发现在 6 个游戏上优于以往的方法，在其中三个游戏中超过了人类专家。

Dec, 2013

仔细观察：在 Atari 上实现一致的性能表现

在本文中，我们提出了一个算法，它能够解决深度强化学习在 Atari 游戏集上遇到的三个关键难题，包括处理不同密度和规模的奖励分布、思考长时间序列以及有效地探索，该算法超过了人类在 40 个游戏上的表现，其中包括 Montezuma's Revenge 的第一关。

May, 2018

关于团队运动比赛中的多智能体学习

本文提出了一种分层训练智能体的方法，以期在团队运动游戏中实现类似于人类的风格和高水平的表现，初步结果显示所提出的方法具有解决多智能体学习问题的潜力。

Jun, 2019

虚拟现实增强的 Atari 强化学习

这篇论文研究了使用图像分割模型改善 Atari 视频游戏下强化学习代理性能的方法，结果表明当使用增强像素输入时，性能得到提升，这可以为 “虚拟增强现实视频游戏强化学习代理” 领域的更广泛研究提供指导。

Oct, 2023

使用深度神经网络进行 Atari 游戏中的动作条件视频预测

本文提出并评估了两种基于卷积神经网络和循环神经网络的深度神经网络架构，能够生成高维度视频的长期预测并取得了良好的可视化效果和控制功能。

Jul, 2015

在 Atari 中从人类偏好和演示中进行奖励学习

本研究使用深度神经网络进行强化学习，将人工反馈的目标作为奖励函数输入，并结合了专家演示与轨迹优先学习两种方法。实验在 9 个 Atari 游戏中超越了模仿学习的基线，并在其中 2 个游戏中获得了超人的表现，同时研究了奖励模型拟合度、奖励篡改问题和人类标签噪声的影响。

Nov, 2018

用于强化学习的快速生成模型的学习和查询

在模型基强化学习中，精心设计的生成模型 —— 状态空间模型可以学习和操作紧凑的状态表述，并且显著降低动作序列预测的计算成本。在广泛的实验中，状态空间模型可以精确捕捉 Atari 游戏的动态，并且提供了高速计算，这使它们在强化学习的决策中具有实用价值。

Feb, 2018

离散世界模型掌握 Atari

DreamerV2 是一种基于 world models 且在离线的训练集上通过 reinforcement learning 进行策略 (即行为) 学习的智能体，用于通过对 compact latent space 进行预测，实现从 Atari 游戏或连续动作任务的图像输入中进行行为学习的高效模型，实现了在 55 个任务中的 human-level 的性能，获得了与 IQN 和 Rainbow 类似的结果。

Oct, 2020