Aug, 2009

最优无偏值估计器及其与 LSTD、TD 和 MC 的关系

PDF
TL;DR通过推导最优无偏估值器（MVU）和与之相比较的三种估值器：时间差分学习（TD）、蒙特卡罗估算（MC）和最小二乘时间差分学习（LSTD），我们展示了 LSTD 仅在马尔科夫收益过程（MRP）为非循环过程时等同于 MVU 并在大多数循环 MRP 时存在偏差，同时实验证明了实现 Bellman 方程的估值器只有在特殊循环 MRP 中才能保持无偏性。
optimal unbiased value estimatortemporal difference learningmonte carlo estimationleast-squares temporal difference learningmarkov reward process
发现论文，激发创造
  • 时序差异学习在罕见事件预测中的令人惊讶的效率

    我们定量地评估了强化学习中政策评估的时间差异（TD）学习与直接或蒙特卡罗（MC）估计器的效率，重点在于对罕见事件的相关数量的估计。我们证明了有限状态马尔可夫链中最小二乘 TD（LSTD）预测相较于 MC 能够更有效地实现相对准确性，并且通过简单的数量来验证了 LSTD 估计器的中心极限定理和相对渐近方差的上界。利用这个界限，我们证明了即使在罕见事件的时间尺度和 MC 估计器的相对准确性对于状态数都是指数级增长的情况下，LSTD 仍然能够以仅与状态数呈多项式级增长的马尔可夫链观测转换总数维持固定水平的相对准确性。

    May, 2024

  • 基于核的时间差分方法的最优策略评估

    本文提出一种基于重现核希尔伯特空间的方法来估算无限时间折扣马尔可夫奖励过程的值函数的方法，并使用经验过程理论技术导出了误差的上界，同时证明了在样本大小 n 和有效时间跨度 H = (1-gamma)^{-1} 方面具有最优的最小值。

    Sep, 2021

  • 增量式截断最小二乘法

    本文介绍了一种低秩 LSTD 算法，该算法能更好地平衡计算效率和采样效率，使过去的样本高效地实现对最少二乘法时间差分（LSTD）的采样复杂度，同时实现近似 LSTD 的样本复杂度。我们在模拟中给出了关于截断低秩逼近所得解的模拟界限，这表明一个偏差 - 方差折衷需要依赖秩的选择。我们证明了该算法在基准任务和高维能量分配领域的策略评估中有效地平衡了计算复杂性和采样效率。

    Nov, 2015

  • 使用马尔科夫跳跃线性系统理论表征时序差分学习算法的确切行为

    本文通过探讨强化学习中时序差分学习算法与 Markov 跳线性系统（MJLS）之间的关联，为时序差分学习算法的收敛性和稳定性提供了理论支持，并在 IID 和 Markov 噪声的两种情形下提供了 TD 学习算法收敛和表现的精确性和上下界分析。

    Jun, 2019

  • 关于时序差分学习的统计优势

    本文介绍了使用 TD 方法估计值函数的优势，即使用一种新的度量方法 - 问题的轨迹跨越时间，可以在一定程度上提高两个状态的值差的测量准确性。

    Jan, 2023

  • 关于广义贝尔曼方程和时间差分学习

    该论文研究了非政策时间差异学习在折扣马尔可夫决策过程中的应用，提出了一种新的基于广义 Bellman 方程设置 λ- 参数的方案来控制偏差，通过马尔科夫链理论证明了该方案的收敛性并分析了其在最小二乘实现中的收敛性。

    Apr, 2017

  • 监督学习的 MRP 公式化：广义时间差异学习模型

    该研究提出了一种将数据点视为相互关联的观点，并使用马尔科夫奖励过程（MRP）进行数据建模的统计学习方法。通过引入广义的时序差分（TD）学习算法来重塑传统的有监督学习问题，并与普通最小二乘法（OLS）的解决方案建立联系。同时，该研究还证明了在特定条件下，尤其是在噪声相关时，TD 的解决方案比 OLS 更有效。在线性函数逼近下，该研究建立了广义 TD 算法的收敛性，并通过实证研究验证了理论结果，展示了该算法在各种数据集及任务（如回归和深度学习的图像分类）上的实用性。

    Apr, 2024

  • 分位数时序差分学习在价值估计中的统计优势

    本研究探讨了强化学习中基于时间差分的策略评估问题，并分析了一种分布式强化学习算法 —— 量化时间差分学习 (QTD) 在此任务中的应用。研究得出了令人惊讶的结论，即使从业者对返回分布的平均值以外的部分不感兴趣，QTD（能够学习返回值的完整分布）在平板设置中也可以表现出优于只预测平均返回值的方法 (如传统的 TD 学习) 的性能。

    May, 2023

  • 多维 SDE 的反向逐层蒙特卡罗估计，无需 Lévy 面积模拟

    本文介绍了一种新的多级蒙特卡罗（MLMC）估计器，用于由布朗运动驱动的多维 SDE。通过构造适当的对偶多级校正估计器，我们能够避免模拟 Lévy 面积，即使只有 O（Δt^(1/2)）的收敛性，也能实现平滑和分段光滑支付的 O（Δt²）和 O（Δt^(3/2)）方差的 MLMC 及 O（ε^（-2））估计欧式和亚式看涨和看跌期权价格的复杂度。

    Feb, 2012

  • 深度强化学习的快速价值追踪

    我们的研究利用卡尔曼滤波范式引入了一种称为 Langevinized Kalman Temporal-Difference (LKTD) 的新颖且可扩展的采样算法，用于深度强化学习。通过 LKTD 算法，我们有效地从深度神经网络参数的后验分布中抽样，而且我们证明了在温和条件下，LKTD 算法生成的后验样本收敛到一个稳定分布。这种收敛不仅使我们能够量化价值函数和模型参数相关的不确定性，而且在训练阶段中允许我们监控这些不确定性。LKTD 算法为更加强健和适应性的强化学习方法打开了道路。

    Mar, 2024