本文考虑 LSTD (λ) 算法，推导出了任意 λ 及 β-mixing 条件下该算法收敛速率的高概率估计及误差的高概率界，探究了 λ 值选择对线性空间质量和样本数的影响。

May, 2014

本文介绍了一种低秩 LSTD 算法，该算法能更好地平衡计算效率和采样效率，使过去的样本高效地实现对最少二乘法时间差分（LSTD）的采样复杂度，同时实现近似 LSTD 的样本复杂度。我们在模拟中给出了关于截断低秩逼近所得解的模拟界限，这表明一个偏差 - 方差折衷需要依赖秩的选择。我们证明了该算法在基准任务和高维能量分配领域的策略评估中有效地平衡了计算复杂性和采样效率。

Nov, 2015

采用资格追踪技术对现有算法进行了系统的改进，并提出了新的扩展算法，比较实验结果表明标准的 on-policy 和 off-policy LSTD（λ）/LSPE（λ）算法以及如果特征空间维度太大不能使用最小二乘法则选择 TD（λ）算法最佳。

Apr, 2013

本文提出一种基于重现核希尔伯特空间的方法来估算无限时间折扣马尔可夫奖励过程的值函数的方法，并使用经验过程理论技术导出了误差的上界，同时证明了在样本大小 n 和有效时间跨度 H = (1-gamma)^{-1} 方面具有最优的最小值。

Sep, 2021

本文介绍了一种新的算法，通过将 LSTD 与 Dantzig Selector 结合，解决了 L1 正则化与 LSTD 整合的困难问题，该算法适用于高维问题。

Jun, 2012

本文主要针对利用线性函数逼似模型来评估折扣无限领域 MDP 中的策略的问题，研究两种广泛使用的政策评估算法（TD 和 TDC）最佳线性系数的预估误差所需的样本复杂度，提出了一个高可靠性收敛保证的样本复杂度上界，并且在策略内和策略外设置中都达到了最优容差级别依赖，同时，通过显示与问题相关的量，表明在策略内设置中，我们的上界与关键问题参数的 Minimax 下界相匹配，包括特征映射的选择和问题维数。

May, 2023

研究论文通过理论分析和数值实验，研究了深度强化学习中时间差分算法的表现受神经网络规模和 $l_2$- 正则化的影响，发现参数和状态的比例是一个关键因素，还观察到双谷现象，即当参数 / 状态比例为 1 时性能会突然下降。

Oct, 2023

我们定量地评估了强化学习中政策评估的时间差异（TD）学习与直接或蒙特卡罗（MC）估计器的效率，重点在于对罕见事件的相关数量的估计。我们证明了有限状态马尔可夫链中最小二乘 TD（LSTD）预测相较于 MC 能够更有效地实现相对准确性，并且通过简单的数量来验证了 LSTD 估计器的中心极限定理和相对渐近方差的上界。利用这个界限，我们证明了即使在罕见事件的时间尺度和 MC 估计器的相对准确性对于状态数都是指数级增长的情况下，LSTD 仍然能够以仅与状态数呈多项式级增长的马尔可夫链观测转换总数维持固定水平的相对准确性。

May, 2024

评估折扣马尔可夫决策过程中，使用线性函数逼近的时序差异 (TD) 方法的性能限界，我们证明，使用通用且独立于实例的步长算法，结合 Polyak-Ruppert 尾部平均，可以获得接近最优的方差和偏差项，同时给出了相应的样本复杂性限界。

Oct, 2023

本研究提出了一种分布式的 TD 算法，并对其性能进行了有限分析，探讨了对应于不同网络构型、折扣因子、步长和混合时间等因素的收敛速度和逼近精度的权衡关系。

Jul, 2019