Oct, 2022

重新思考强化学习中的值函数学习以实现泛化

PDF
TL;DR本研究旨在训练多个视觉环境下的 RL 代理以提高观察泛化性能，并提出了一种延迟评论者策略梯度（DCPG）算法，该算法可以使用单一统一的网络架构来实现，极大地提高了 Procgen 基准测试的样本效率和观测泛化性能。
rl agentsobservational generalizationmulti-environmentvalue networkdelayed-critic policy gradient
发现论文，激发创造
  • 政策评估网络

    本文提出了一种基于价值函数、梯度上升和指纹技术的增强学习方法，通过估计给定一组状态下多种策略的价值，实现了在策略空间直接进行梯度上升从而产生优秀的策略。实验结果表明，该方法的理论和实际效果均优于传统方法。

    Feb, 2020

  • 相位策略梯度

    Phasic Policy Gradient (PPG) 是一种强化学习框架，通过将策略和价值函数训练分成两个不同的阶段来修改传统的在线策略演员 - 评论家方法，从而在保持各自优点的同时提高样本利用效率。

    Sep, 2020

  • 深度协同图

    本文介绍了用于协作式多智能体强化学习的深度协调图（DCG）。DCG 通过协调图将所有智能体的联合价值函数因子化为智能体对之间的收益，从而在表征能力和泛化能力之间取得了灵活的折衷，解决了多智能体系统面临的相对过度泛化问题，在 StarCraft II 的微观管理任务中取得了显著的效果。

    Sep, 2019

  • 使用价值函数搜索提升深度策略梯度

    本文旨在改进 Deep Policy Gradient 基元的价值估计，提高样本效率和回报率，通过引入一个使用扰动值网络来搜索更好近似的价值函数搜索算法完成。

    Feb, 2023

  • 通过学习识别少而关键的状态进行一般政策评估和改进

    在深度神经网络上，使用 Parameter-Based Value Functions 和 Policy Evaluation Networks 的 Actor-Critic 框架，学习单一价值函数来评估和改进 RL 策略，并通过学习少量的探测状态和行动映射来提取关于环境的重要抽象知识。

    Jul, 2022

  • 基于策略动态价值函数的快速适应

    介绍了一种新的 Policy-Dynamics Value Functions 方法用于快速适应不同于之前训练环境的动态环境，方法利用强化学习技术，通过学习环境和策略在嵌入空间中的表示并进行价值函数的训练，能够在少量交互中，通过学习后的价值函数快速适应不同动态环境，实验表明本方法在 MuJoCo 环境下有较好的表现。

    Jul, 2020

  • 强化学习通用化中价值与策略的解耦

    提出了一种新的深度强化学习算法 IDAAC，采用不变性分离的方式，分别优化策略和价值函数，通过辅助损失使表示对环境的任务无关属性具有不变性，该算法在 Procgen 基准测试中表现出很好的泛化性能，并在 DeepMind 控制任务中超过了流行方法。

    Feb, 2021

  • DNA: 双网络结构的近端策略优化

    本文探讨了在深度演员 - 评论家强化学习模型中同时学习价值函数和策略的问题，并提出了一种名为 “Dual Network Architecture” 的方法，通过独立地学习这两个任务但在约束蒸馏阶段进行学习，从而显著提高了性能，并在四个测试环境中胜过了流行的 Rainbow DQN 算法。

    Jun, 2022

  • 使用广义优势估计进行高维连续控制

    本文探讨了如何使用深度神经网络和政策梯度方法，通过数值函数和置信区间优化解决了强化学习中大量样本和非稳定性问题，取得了在高难度 3D 运动任务中显著的实证结果。

    Jun, 2015

  • 通过在深度强化学习中从预计算中估计值函数来加速策略梯度

    通过先前的计算来估计价值函数，以提高策略梯度强化学习的样本效率，并使用价值函数作为基线来减少梯度计算的方差和提高样本效率。

    Feb, 2023