Jul, 2016

一种贪心方法用于适应时序差分学习的迹参数

PDF
TL;DR本文提出了一种新的目标函数来优化 lambda，使用基于状态而不是时间的线性复杂度的增量式 lambda 适应算法，并在三个不同的环境中进行了实验，这些贡献是针对在现实世界问题中运用时间差异学习方法的具体步骤。
reinforcement learningmeta-learningtemporal-differencefunction approximationalgorithm
发现论文，激发创造
  • 一种强调的离线时序差分学习方法

    本文介绍了通过有选择地加强或减弱不同时间步骤的更新来改善参数化时序差分学习算法的性能，并且提出了一种新的增强 TD (λ) 算法，相较于之前的方法，它更简单易用，只有一个学习参数向量和一个步长参数，含有状态相关折扣函数和自举函数，并且能够根据需要确定不同状态的精确定价程度。

    Mar, 2015

  • 自适应线性函数逼近时间差分学习

    本文提出了一种自适应投影变体的临时差异 (TD) 学习算法 AdaTD (0)，它具有线性函数逼近和可证明稳定性，其实验结果表明其对于标准强化学习任务具有有效性。

    Feb, 2020

  • 线性函数逼近分布式时序差分学习的有限时间性能

    本研究提出了一种分布式的 TD 算法，并对其性能进行了有限分析，探讨了对应于不同网络构型、折扣因子、步长和混合时间等因素的收敛速度和逼近精度的权衡关系。

    Jul, 2019

  • 发现具有时间感知的强化学习算法

    最近的元学习进展使得可以自动发现由代理目标函数参数化的新型强化学习算法。本文提出一种对两种现有目标发现方法进行简单扩展的方案，允许在智能体的训练过程中动态更新其目标函数，从而获得具有表达能力的进度表，并增加在不同训练时间范围内的泛化能力。

    Feb, 2024

  • 没有学习率的时序差分更新

    本文从统计原理出发，推导出一种新的时序差分学习公式，相比现有的 TD (lambda) 算法，不需要使用学习速率参数 alpha，而是针对每个状态转移具有自己的学习速率，实验结果表明该算法在强化学习任务中表现更为优异。

    Oct, 2008

  • 时间差异强化学习动力学

    本研究使用统计物理学的理论，研究了具有线性函数逼近器的时间差分学习的典型学习曲线。通过对小型马尔可夫决策过程进行验证，发现随机半梯度噪声导致价值误差的显著平台现象，并分析了如何使用学习率退火和奖励塑形等策略促进学习动态和平台的优化。

    Jul, 2023

  • 有限时间内基于线性函数逼近的时序差分学习分析

    本文提供了关于具有线性函数逼近的时间差异学习的简单而明确的有限时间分析，研究它在强化学习中的适用性，分析结果适用于 TD（λ）学习和应用于高维度最佳停止问题的 Q-learning。

    Jun, 2018

  • 真正在线时序差分学习

    本文在大量实证比较中发现，相比于传统的 TD (λ) 和 Sarsa (λ) 方法，真正实现了在线前向视图等整体更新的 True Online 方法不仅在理论性质上更优，而且在实践中更具有优势，并且提供了一种转化方法，可以通过在线前向视图的调整得到新的 True Online 时序差分学习方法。

    Dec, 2015

  • 实用的线性时间差分学习研究

    本文介绍了两种混合 TD 策略评估算法，并通过实证比较得出哪种线性 TD 方法在不同情况下应该优先使用及实际应用的具体建议。

    Feb, 2016

  • 关于某些基于梯度的时间差分离线学习算法的收敛性

    本文考虑了有限状态和折扣回报标准下的马尔科夫决策过程策略评估问题中的离策略时间差分 (TD) 学习方法，并针对几个基于梯度的 TD 算法提出了一组收敛性结果。

    Dec, 2017