Feb, 2020

自适应线性函数逼近时间差分学习

PDF
TL;DR本文提出了一种自适应投影变体的临时差异 (TD) 学习算法 AdaTD (0)，它具有线性函数逼近和可证明稳定性，其实验结果表明其对于标准强化学习任务具有有效性。
temporal difference learningadaptive projected variantreinforcement learningstochastic gradient methodlinear function approximation
发现论文，激发创造
  • 有限时间内基于线性函数逼近的时序差分学习分析

    本文提供了关于具有线性函数逼近的时间差异学习的简单而明确的有限时间分析，研究它在强化学习中的适用性，分析结果适用于 TD（λ）学习和应用于高维度最佳停止问题的 Q-learning。

    Jun, 2018

  • 关于函数逼近的 TD (0)：集中界限和具有指数收敛的居中变量

    本文提出了针对使用线性函数逼近器的时间差分学习算法 TD (0) 的非渐近界限。同时，也指出了除非我们对政策的马尔科夫链的稳态分布（部分）具有知识，否则步长反比于迭代次数不能保证最优收敛率。此外，我们为迭代平均的 TD (0) 变体提供了界限，同时消除了步长的依赖性，并表现出最优的收敛速度。此外，我们还提出了一种包含置中序列的 TD (0) 线性逼近器变型，并证明它在期望下表现出指数级的收敛速度。最后，我们在两个人工实验中展示了这些界限的有用性。

    Nov, 2014

  • 线性函数逼近分布式时序差分学习的有限时间性能

    本研究提出了一种分布式的 TD 算法，并对其性能进行了有限分析，探讨了对应于不同网络构型、折扣因子、步长和混合时间等因素的收敛速度和逼近精度的权衡关系。

    Jul, 2019

  • 关于利用方差缩减方法对于随机连续环境下的时差学习进行修正

    本文研究了使用时差学习算法评估连续时间进程的策略评估问题，并根据随机微分方程的时间离散化来学习连续值函数。通过为差分学习提供零均值修正，我们提出了一种鲁棒的算法，包括两种算法：一种是基于模型的算法，另一种是基于无模型的算法，其收敛性得到了证明。此外，该方法还可用于机器学习中求解非发散二阶椭圆方程的问题。

    Feb, 2022

  • 关于某些基于梯度的时间差分离线学习算法的收敛性

    本文考虑了有限状态和折扣回报标准下的马尔科夫决策过程策略评估问题中的离策略时间差分 (TD) 学习方法，并针对几个基于梯度的 TD 算法提出了一组收敛性结果。

    Dec, 2017

  • TD (0) 函数逼近的有限样本分析

    本文是首篇对 TD (0) 算法在线性情况下基于函数逼近进行有限采样分析的研究，并且通过利用 TD (0) 的强大属性，提供了期望和高概率的收敛速率，并使用最近开发的随机逼近技术采用了不同的方法来获得这两种收敛速率。

    Apr, 2017

  • 加速梯度时差学习

    本文提出了一种新的 TD 方法家族 ATD 方法，用于在保证数据效率、减少参数灵敏度和渐进无偏的情况下，大幅减少计算和存储的量，其收敛性得到了期望的证明，并在多个基准域和大型工业能源分配域上进行了实验。

    Nov, 2016

  • 近似时序差分学习是可逆策略的梯度下降

    该论文探讨了在强化学习中，通过使用 Dirichlet 范数来代替标准的误差计算方法，即使在使用非线性参数近似的情况下，也可以确保 TD 算法的收敛性并解决梯度消失问题。

    May, 2018

  • 非线性 TD 学习收敛性的几何洞见

    本研究旨在推广理论收敛保证到具有非线性函数逼近的 TD 学习，考虑 TD (0) 算法估计值的预期学习动态，使用具有良好几何形状的函数逼近器的集合，证明了在更可逆的环境下 TD 学习的收敛性，同时进行了非线性的收敛和发散案例的探讨。

    May, 2019

  • 几乎没有通信的分布式 TD (0)

    本文提出了一种新的分布式时间差异学习方法，该方法采用 “一次性平均” 策略，在分布式过程结束时平均结果，证明了并行优化对于时间差异方法收敛时间的提升。

    May, 2023