May, 2024

FDQN：一种用于游戏自动化的灵活深度 Q 网络框架

PDF
TL;DR在这项研究中，提出了一种最新的灵活深度 Q 网络 (FDQN) 框架，能够通过自适应方法在动态环境中处理高维度感知数据，实时进行决策，并动态调整模型结构以适应不同游戏环境的行动空间，相对于基准模型，在各种 Atari 游戏和 Chrome Dino 游戏中取得优异表现。该框架采用 epsilon-greedy 策略有效平衡新的学习和探索，其模块化结构可以轻松应用于其他基于 HTML 的游戏，同时提到了该框架在实验室条件下成功解决了一个明确定义的任务，并探讨了其在更具挑战的真实世界情境和自动化游戏玩法等领域的潜在应用。
reinforcement learningflexible deep q-networkweb-based gamesadaptive strategiesreal-time interaction
发现论文，激发创造
  • 深度关注递归 Q 网络

    通过深度强化学习方法，利用软、硬注意力机制的扩展 DQN 算法，以 Atari 游戏为测试模型，表明其性能优于 DQN，并且内置的注意机制使得可以直接监控训练过程。

    Dec, 2015

  • 演示中的深度 Q 学习

    本文介绍了 Deep Q-learning from Demonstrations（DQfD）算法，并探究其应用于真实环境下学习任务的可行性以及其在模拟环境和真实环境中的表现；同时，DQfD 算法通过采用优先重放机制以及组合时差更新和监督学习来利用少量演示数据显著加速学习过程。实验表明，DQfD 相较于其他三种相关算法在学习任务中具有更好的表现，并可通过人类演示数据来实现一些领先于其他算法的新的最优成果。

    Apr, 2017

  • 使用浅层强化学习技术控制 Atari 游戏的现状

    本文研究深度强化学习算法 DQN 在 Atari 2600 游戏中成功的关键，并提供一种通用的表示方法，以减轻对每个游戏进行表示学习的负担，并为未来 ALE 计算机学习领域提供了可复制和可比性的基准。

    Dec, 2015

  • 从弱演示中学习对话策略

    本研究提出一种基于 Deep Q-learning from Demonstrations 的 Reinforced Fine-tune Learning 方法，利用 labeled、reduced-labeled 和 unlabeled data 训练 expert demonstrators，以解决多领域对话系统中 state 和 action 空间较大的问题，并在实验中取得了较高的成功率。

    Apr, 2020

  • 基于图神经网络的谷歌研究足球智能体

    本文提出了一种基于图神经网络（GNN）的深度 Q 学习网络（DQN），在 Google Research Football 框架下，将卷积神经网络难以提取足够信息的小地图输入转化成图形式，优化了估计值函数并提高了通信效率。实验证明，该模型在玩足球游戏中表现优秀，且训练速度快于其他 DRL 模型。

    Apr, 2022

  • 多领域对话系统的深度强化学习

    本文提出了一种用于多域对话政策学习的 NDQN 方法，与传统的 Deep Q-Networks（DQN）相比，实验结果表明其具有更好的可扩展性，有望优化多域对话系统的行为。

    Nov, 2016

  • 动态帧跳跃深度 Q 网络

    该论文提出了一种新的 Deep Reinforcement Learning 架构，Dynamic Frame skip Deep Q-Network (DFDQN)，它使 Frame Skip Rate 成为一个动态可学习的参数，从而能够根据当前状态选择要重复的动作次数，并且成功提高了在 Seaquest 等较难游戏中的表现。

    May, 2016

  • 灰盒子：理解 DQNs

    本文介绍了分析 Deep Q-networks（DQNs）的一种方法和工具，以及自动学习 Semi Aggregated Markov Decision Process（SAMDP）模型的算法。SAMDP 模型允许我们直接从特征中识别时空抽象，并且可以在今后的工作中用作子目标检测器。使用我们的工具，我们揭示了 DQNs 学习的特征以层次方式聚合状态空间，解释了其成功。此外，我们能够理解和描述 DQNs 为三个不同的 Atari2600 游戏学习的策略，并提出解释、调试和优化强化学习中深度神经网络的方式。

    Feb, 2016

  • 多智能体系统的深度策略推断 Q 网络

    本文介绍了 DPIQN 和 DRPIQN，这两个深度增强学习网络通过使用从协作者和对手的原始观察中推断出的策略特征来改进对可控制代理的 Q 值预测，适用于具有不同策略的协作者、对手和可控制代理的多智能体系统中。作者通过 1 对 1 和 2 对 2 的经典足球游戏等多种多智能体场景中的实验证明了这两个模型的高性能。

    Dec, 2017

  • 通过贝叶斯深度 Q 网络实现高效探索

    这篇论文研究了高维情境下的强化学习，提出了两种基于乐观法和后验采样的算法来解决此问题，并扩展了该方法应用在深度强化学习上，所提出的贝叶斯深度 Q 网络通过采用贝叶斯线性回归的方法调整 Q-networks 的学习方式，使其能够充分平衡探索与执行间的权衡，更加有效地应用在 Atari 游戏中。

    Feb, 2018