该论文探讨了在强化学习中，通过使用Dirichlet范数来代替标准的误差计算方法，即使在使用非线性参数近似的情况下，也可以确保TD算法的收敛性并解决梯度消失问题。

May, 2018

本文提供了关于具有线性函数逼近的时间差异学习的简单而明确的有限时间分析，研究它在强化学习中的适用性，分析结果适用于TD（λ）学习和应用于高维度最佳停止问题的Q-learning。

Jun, 2018

通过超参数化来解决neural TD的优化非线性问题，证明了neural TD在策略评估中以次线性速率收敛于均方Bellman误差的全局最优解，并进一步连接到策略梯度算法的全局收敛。

May, 2019

本文提出了一种自适应投影变体的临时差异(TD)学习算法AdaTD(0)，它具有线性函数逼近和可证明稳定性，其实验结果表明其对于标准强化学习任务具有有效性。

Feb, 2020

介绍了一种新的 TD 方法——TDRC，它在易用性、正确性和性能之间平衡，在 TD 表现良好时，表现与 TD 相当，并且在 TD 发散时保持正确性。

Jul, 2020

本文研究了带有压缩算子的强化学习过程对经典时间差分学习算法的影响，并证明了在误差反馈机制的作用下，以及与线性函数逼近和马尔可夫采样一起使用时，压缩的时间差分算法可以与SGD相似地具有非渐近理论保证。此外，本文还扩展了结果，提出了多智能体TD学习的线性收敛速度快速提升的证明。

Jan, 2023

本研究探讨了时间差分（TD）学习算法的收敛行为，通过分析我们的发现，我们将其形式化应用于线性TD设置中的二次损失，以证明TD的收敛取决于两种力量的相互作用，并扩展到比线性逼近和平方损失更广泛的设置中，提供了TD在强化学习中成功应用的理论解释。

Jun, 2023

研究论文通过理论分析和数值实验，研究了深度强化学习中时间差分算法的表现受神经网络规模和$l_2$-正则化的影响，发现参数和状态的比例是一个关键因素，还观察到双谷现象，即当参数/状态比例为1时性能会突然下降。

Oct, 2023

本文基于非线性的动作价值逼近，对具有神经网络函数参数化的时序差异（TD）学习算法进行改进的有限时间分析，得到了一种改进的新的样本复杂度Ο̃(ε^(-1))，在马尔可夫采样下取得了Ο̃(ε^(-1))的复杂度，相比现有文献中已知的Ο̃(ε^(-2))复杂度是第一次实现的研究。

May, 2024

本论文研究了使用Q-learning和TD算法训练深度强化学习模型时的稳定性问题，并提出了一种无需目标网络即可收敛的TD算法PQN，该算法可以在不牺牲样本效率的情况下比传统DQN算法快50倍，使Q-learning再次成为RL算法的可行替代方案。

Jul, 2024