截断强调时间差异方法在预测和控制中的应用

Aug, 2021

截断强调时间差异方法在预测和控制中的应用

Truncated Emphatic Temporal Difference Methods for Prediction and Control

Shangtong Zhang, Shimon Whiteson

TL;DR本文旨在通过使用截断 “随后追踪”（followon traces）的强调式时间差（TD）方法，解决随后追踪在实践中难以使用的大方差问题。与原始的随后追踪不同，截断的随后追踪仅依赖于有限的历史数据，从而减少方差，并使我们提出的强调式 TD 方法在预测和控制问题上进行有限样本分析

Abstract

Emphatic Temporal Difference (TD) methods are a class of off-policy reinforcement learning (RL) methods involving the use of followon traces. Despite the theoretical success of emphatic TD methods in addressing t

temporal difference methods reinforcement learning followon traces variance reduction finite sample analysis

发现论文，激发创造

强调时间差分学习的收敛性

本文研究了在带有有限状态的折扣马尔可夫决策过程中对策略进行强调时间差分学习的算法。我们提出了 ELSTD（λ）和 ETD（λ）的首个收敛性证明，并针对一般的离线策略研究了 ELSTD（λ）迭代的 $L^1$ 收敛和使用单个无限长轨迹计算的近似值函数的两种算法的几乎必然收敛性。

Jun, 2015

一种强调的离线时序差分学习方法

本文介绍了通过有选择地加强或减弱不同时间步骤的更新来改善参数化时序差分学习算法的性能，并且提出了一种新的增强 TD (λ) 算法，相较于之前的方法，它更简单易用，只有一个学习参数向量和一个步长参数，含有状态相关折扣函数和自举函数，并且能够根据需要确定不同状态的精确定价程度。

Mar, 2015

强调时序差分学习

该研究概括了近期两个关于强化学习中强调算法的稳定性和收敛性的研究，同时展示了强调算法的灵活性在状态折扣、状态引导和资源分布等方面的经验优势。

Jul, 2015

深度强化学习的期望强调痕迹学习

本文研究将强化权重与非连续、离线数据相结合以提高样本效率，同时在 Atari 2600 电子游戏上测试了新的 X-ETD（n）算法，证明了其可扩展性和广泛适用性。

Jul, 2021

情感强化时序差分学习的初步实证研究

本文首次实证研究了强调时间差分学习算法（ETD）在 Mountain Car 问题的使用，对比标准的时间差分学习算法，比如线性 TD（0），研究表明在 on-policy 和 off-policy 两种情况下，ETD 算法的收敛效果更好。

May, 2017

广义强化时间差分学习：偏差 - 方差分析

本文提出了一种广义的基于强化学习的离线评估算法，该算法可以控制一个重要性采样因子的衰减速度，并研究了其收敛和精度属性。

Sep, 2015

关于时序差分学习的统计优势

本文介绍了使用 TD 方法估计值函数的优势，即使用一种新的度量方法 - 问题的轨迹跨越时间，可以在一定程度上提高两个状态的值差的测量准确性。

Jan, 2023

辨识时差学习

提出了一种新型的时序差异学习算法（DTD），通过引入灵活的权重分配函数，能够提高值估计并在不同情境中加速学习。

Oct, 2023

反步时间差分学习

本文从纯控制理论的角度提供了对各种纠正离策略误差 TD 学习算法（包括 GTD 和 TDC）的统一视角，并提出了一种基于后掠技术的新的收敛算法，最终在标准 TD-learning 不稳定的环境中实验证实了该算法的收敛性。

Feb, 2023

直接梯度时差学习

提出一种直接解决双重采样问题的方法，通过在逐渐增大的马尔可夫数据流中使用两个样本，该算法在计算上与 Gradient Temporal Difference (GTD) 一样高效，但摆脱了 GTD 的额外权重，而唯一的代价是随着时间的推移，存储空间呈对数增长。

Aug, 2023