使用浅层强化学习技术控制 Atari 游戏的现状

Dec, 2015

使用浅层强化学习技术控制 Atari 游戏的现状

State of the Art Control of Atari Games Using Shallow Reinforcement Learning

Yitao Liang, Marlos C. Machado, Erik Talvitie, Michael Bowling

TL;DR本文研究深度强化学习算法 DQN 在 Atari 2600 游戏中成功的关键，并提供一种通用的表示方法，以减轻对每个游戏进行表示学习的负担，并为未来 ALE 计算机学习领域提供了可复制和可比性的基准。

Abstract

The recently introduced deep q-networks (DQN) algorithm has gained attention as one of the first successful combinations of deep neural networks and reinforcement learning. Its promise was demonstrated in the Arcade Learning Environment (ALE), a challenging framework composed of dozens

deep reinforcement learning deep q-networks atari 2600 games representation learning general competency

发现论文，激发创造

深度关注递归 Q 网络

通过深度强化学习方法，利用软、硬注意力机制的扩展 DQN 算法，以 Atari 游戏为测试模型，表明其性能优于 DQN，并且内置的注意机制使得可以直接监控训练过程。

Dec, 2015

使用深度强化学习玩 Atari 游戏

本文介绍了一种使用卷积神经网络和增强学习从高维感知输入中直接学习控制策略的深度学习模型，并将其应用于七个 Atari 2600 游戏中，发现在 6 个游戏上优于以往的方法，在其中三个游戏中超过了人类专家。

Dec, 2013

DQN 中的泛化和正则化

本研究提出了一种在不同 Atari 2600 游戏模式下进行强化学习泛化评估的方法，并证明 DQN 存在过度训练环境的问题；通过适当运用 dropout 和正则化，以及优化表示来提高泛化能力，有效提升 DQN 的样本效率。

Sep, 2018

深度机器人素描：基于深度 Q 学习网络的类人绘画应用

该研究提出将深度 Q 学习神经网络引入艺术绘画机器人应用程序，旨在研究复杂控制策略对基础艺术绘画机器人应用程序性能的影响，并为将 DQN 方法引入复杂艺术绘画机器人框架的未来研究提供了首个基准。

Feb, 2024

重新审视街机学习环境：通用智能体的评估协议和开放问题

该文章探讨了 Arcade Learning Environment（ALE）作为评估平台对研究社区的影响，并重点说明在该平台中评估代理时的一些核心问题。此外，该文章还提出了一些研究方法的最佳实践，并介绍了一个支持多种游戏模式的新版本 ALE，提供了一种被称为粘性操作的随机性。

Sep, 2017

深度强化学习的浅层更新

本研究提出了一种名为最小二乘深度 Q 网络 (LS-DQN) 的混合方法，它将由深度强化学习算法学习的丰富特征表示与线性最小二乘方法的稳定性相结合。实验表明，与原始的深度 Q 网络 (DQN) 和 Double-DQN 相比，LS-DQN 在五个 Atari 游戏中均表现出显著的性能提升，此方法优越的性能主要归功于优化最后一层时所使用的大批量线性最小二乘方法。

May, 2017

双 Q 学习的深度强化学习

本文针对 DQN 算法中 Q-learning 超估计行动价值的问题，提出了 Double Q-learning 算法，通过将其与深度神经网络结合得到了一种新的算法，并在数个游戏里得到了更好的表现。

Sep, 2015

深度 Q 网络在人工智能足球中的应用

利用深度 Q 网络算法，成功对 AI Soccer 等 5:5 机器人足球游戏中的机器人进行训练，并在 AI Soccer 国际大赛中进入了前 16 强。

Sep, 2022

Atari 游戏中联合视频帧和奖励预测的深度学习方法

本文介绍一种在高维视觉状态空间下学习动态系统和奖励函数的方法，将视觉帧预测的深度神经网络扩展为同时预测奖励，利用联合优化问题最小化奖励和视觉帧的重构误差，并在五个 Atari 游戏上经过实证评估，取得了高达 200 帧的准确累计奖励预测结果。

Nov, 2016

灰盒子：理解 DQNs

本文介绍了分析 Deep Q-networks（DQNs）的一种方法和工具，以及自动学习 Semi Aggregated Markov Decision Process（SAMDP）模型的算法。SAMDP 模型允许我们直接从特征中识别时空抽象，并且可以在今后的工作中用作子目标检测器。使用我们的工具，我们揭示了 DQNs 学习的特征以层次方式聚合状态空间，解释了其成功。此外，我们能够理解和描述 DQNs 为三个不同的 Atari2600 游戏学习的策略，并提出解释、调试和优化强化学习中深度神经网络的方式。

Feb, 2016