May, 2022

时间差分与残差梯度在神经网络逼近中的实验比较

PDF
TL;DR我们在深度 Q 学习中比较了 Residual Gradient (RG) 和 Temporal Difference (TD), 结果表明 TD 更优，同时我们还发现了强化学习和监督学习之间的一个关键差异，即小的 Bellman 残差误差可能对应一个不好的策略。我们进一步证明了 TD 中的缺失项是 RG 表现不佳的重要原因。我们的研究表明，深度 Q 学习的性能与训练动态密切相关，如何使用不完全梯度下降方法找到良好策略是未来研究的一个有趣领域。
发现论文，激发创造
  • 近似时序差分学习是可逆策略的梯度下降

    该论文探讨了在强化学习中，通过使用 Dirichlet 范数来代替标准的误差计算方法，即使在使用非线性参数近似的情况下，也可以确保 TD 算法的收敛性并解决梯度消失问题。

    May, 2018

  • 非线性分布式梯度时序差分学习

    提出了分布式渐进时间差分（TD）学习的变体，并设计了新的分布式 GTD2 和分布式 TDC 算法，以及分布式 Greedy-GQ 控制设置算法。证明了分布式 GTD2 和 TDC 算法在一般光滑函数逼近器中的渐近几乎确定性收敛性。

    May, 2018

  • 关于神经网络在时间差异学习中的性能

    神经时间差异学习是一种用于策略评估的近似时间差异方法，它利用神经网络进行函数逼近。本论文通过对投影到初始点 θ₀周围半径为 ω 的球 B (θ₀, ω) 的神经时间差异学习的收敛性分析，展示了一个近似界限为 O (ε)+~O (1/√m)，其中 ε 是 B (θ₀, ω) 中最佳神经网络的逼近质量，而 m 是网络中所有隐藏层的宽度。

    Dec, 2023

  • 利用压缩更新的时序差分学习：误差反馈与强化学习相遇

    本文研究了带有压缩算子的强化学习过程对经典时间差分学习算法的影响，并证明了在误差反馈机制的作用下，以及与线性函数逼近和马尔可夫采样一起使用时，压缩的时间差分算法可以与 SGD 相似地具有非渐近理论保证。此外，本文还扩展了结果，提出了多智能体 TD 学习的线性收敛速度快速提升的证明。

    Jan, 2023

  • 深层残差强化学习

    本文重新探讨了残差算法在无模型和有模型强化学习中的应用，提出了双向目标网络技术来稳定残差算法，在 DeepMind 控制套件基准测试中，得到了明显优于基准 DDPG 的残差版本，同时，在模型为基础的规划中，本研究发现残差算法是解决分布不匹配问题的有效方法，与现有的 TD（$k$）方法相比，我们的基于残差的方法对模型做出了更弱的假设，提高了性能。

    May, 2019

  • 具有正则化修正的梯度时序差分学习

    介绍了一种新的 TD 方法 ——TDRC，它在易用性、正确性和性能之间平衡，在 TD 表现良好时，表现与 TD 相当，并且在 TD 发散时保持正确性。

    Jul, 2020

  • TD 或非 TD：深度强化学习中时间差分作用的分析

    本文对经典强化学习算法中的 TD 算法在深度强化学习中的优劣进行了重新评估，并发现在特定的因素下，如奖励稀疏、奖励延迟和任务的感知复杂性等，有限时的 MC 方法不亚于 TD，这使得 MC 成为深度强化学习中可替代 TD 的选择。

    Jun, 2018

  • 直接梯度时差学习

    提出一种直接解决双重采样问题的方法，通过在逐渐增大的马尔可夫数据流中使用两个样本，该算法在计算上与 Gradient Temporal Difference (GTD) 一样高效，但摆脱了 GTD 的额外权重，而唯一的代价是随着时间的推移，存储空间呈对数增长。

    Aug, 2023

  • 神经时序差分和 Q-learning 可以被证明收敛于全局最优解

    通过超参数化来解决 neural TD 的优化非线性问题，证明了 neural TD 在策略评估中以次线性速率收敛于均方 Bellman 误差的全局最优解，并进一步连接到策略梯度算法的全局收敛。

    May, 2019

  • 反步时间差分学习

    本文从纯控制理论的角度提供了对各种纠正离策略误差 TD 学习算法（包括 GTD 和 TDC）的统一视角，并提出了一种基于后掠技术的新的收敛算法，最终在标准 TD-learning 不稳定的环境中实验证实了该算法的收敛性。

    Feb, 2023