Jun, 2022

Value Memory Graph: 离线强化学习的基于图结构的世界模型

PDF
TL;DR该研究旨在解决在复杂环境中直接应用强化学习方法以学习策略时遇到的困难，提出了一种基于图的马尔可夫决策过程的简单离线世界模型，称为 Value Memory Graph，可有效地解决回报稀疏和长时间跨度等问题。
reinforcement learningoffline rlvalue memory graphmarkov decision processpolicy learning
发现论文，激发创造
  • 高速公路图在强化学习中的加速

    为了提高 RL 算法的训练效率，本研究基于高速公路图的观察，提出了一种新颖的图结构，用于模拟状态转换，将 RL 训练在早期阶段显著加速，并在性能上优于其他无模型和带模型的 RL 算法。同时，基于高速公路图训练的深度神经网络代理具有更好的泛化性能和更低的存储成本。

    May, 2024

  • 图神经网络诱导价值迭代

    通过引入图神经网络，该论文提出的价值迭代算法执行图神经网络，跨越任意环境模型，并在 VI 的中间步骤上受到直接监督，证明了具有强监督的 GNN 执行者是深度强化学习系统中可行的组成部分。

    Sep, 2020

  • 稀疏图形记忆用于鲁棒规划

    该论文介绍了 Sparse Graphical Memory (SGM) 的新数据结构，与深度学习和经典规划相结合，以实现用于长时间范围下稀疏奖励视觉导航任务的可扩展性表现优于当前领先的方法。

    Mar, 2020

  • 价值梯度加权的基于模型的强化学习

    本文提出了一种基于价值梯度加权的模型学习方法（VaGraM），通过改进价值感知模型的学习，提高在小模型容量和存在干扰状态维度等具有挑战性的环境下的 Model-based reinforcement learning (MBRL) 的性能。与常用的基于最大似然估计（MLE）的方法相比，我们的方法表现更优

    Apr, 2022

  • 基于价值感知的情节记忆离线强化学习

    本文提出了一种名为 Value-based Episodic Memory 的离线强化学习方法，该方法使用 V-function 代替 Q-function，并引入 Expectile V-Learning 和 implicit planning 来提高性能。在 D4RL 基准测试中，该方法在大多数任务中实现了优越的性能。

    Oct, 2021

  • 对比价值学习：简单离线强化学习的隐式模型

    本文介绍了一种新的模型 - 基强化学习方法 Contrastive Value Learning 用于离线场景中，在不受奖励函数限制下，学习一个隐含的、多步骤的环境动力学模型，直接估计每个动作的价值，并在复杂的连续控制基准测试中优于先前的离线 RL 方法。

    Nov, 2022

  • 多智能体强化学习中的图卷积值分解

    该论文提出了一种新颖的基于图神经网络的多智能体深度强化学习价值函数分解框架，包括目标团队代理作为一组完整有向图的节点、采用注意机制进行边权重控制、推出混合 GNN 模块用于把团队状态 - 动作价值函数分解为单独智能体的观测 - 动作价值函数、显式接受损失分配。该方法称为 GraphMIX，能够优于当前最先进方法，可用于 StarCraft II 多智能体挑战基准测试中，同时能够改善智能体性能并使其适应更高数量和 / 或操作的不匹配测试情景。

    Oct, 2020

  • 重新思考强化学习中的值函数学习以实现泛化

    本研究旨在训练多个视觉环境下的 RL 代理以提高观察泛化性能，并提出了一种延迟评论者策略梯度（DCPG）算法，该算法可以使用单一统一的网络架构来实现，极大地提高了 Procgen 基准测试的样本效率和观测泛化性能。

    Oct, 2022

  • 将世界模型视为图：学习用于规划的潜在地标

    该论文提出 L3P 算法，使用稀疏的多步转换学习基于图结构的世界模型并生成 Q - 函数，其在高维连续控制任务上具有优越的性能，是深度强化学习中可扩展规划的重要进展。

    Nov, 2020

  • 在动作顶点上学习表示动作价值的超图

    通过结合 hypergraph networks framework 和 deep Q-networks 方法，有效提升异构空间下 action-value 估计的表现，包括 Atari 2600 游戏和物理控制基准测试等多个领域。

    Oct, 2020