Dec, 2021

利用线性函数近似的强化学习的一阶遗憾：一种鲁棒估计方法

PDF
TL;DR本研究基于鲁棒 Catoni 平均值估计器，提出一种新的鲁棒自归一化浓度界，解决了已有技术在大状态空间强化学习中无法获得遗憾上界的问题，并证明了在线性 MDP 设定下，可以获得与最优策略性能某种度量成比例的遗憾上界。
发现论文，激发创造
  • 线性函数逼近的对抗式 MDP 的精炼遗憾

    本文研究了在损失函数任意的情况下，对于线性近似的 Q 函数，提出了两种算法，可以在拥有模拟器的情况下使得损失最小值达到 $\tilde {\mathcal O}(\sqrt K)$，并在无模拟器情况下实现了 $ ilde {\mathcal O}(K^{8/9})$ 的表现，改进了之前的表现

    Jan, 2023

  • 用最优后悔学习在度量空间中控制

    探讨了针对具有任意状态和动作空间的有限时间确定性控制系统的在线强化学习问题，提出了一种基于上置信强化学习的 Q 函数的乐观估计算法，证明了算法的性能界限和下界。

    May, 2019

  • 具有顺序最优遗憾界限的核化强化学习

    针对使用核回归时的强化学习问题，我们提出了一种乐观性的改进最小二乘法值迭代方法，我们证明了其在一般情况下具有一阶最优遗憾保证，其结果比现有技术有显着的多项式改进。

    Jun, 2023

  • 线性函数逼近强化学习的对数遗憾

    该研究探讨了使用线性函数逼近的强化学习，提出了新的线性 MDP 假设，并通过实验证明了具有对最优行动价值函数的正增量的情况下可以获得对数后悔界限。

    Nov, 2020

  • 面向具有悔恨的对抗性线性马尔可夫决策过程的最优化

    在线强化学习是研究的主题之一，尤其在线性 Markov 决策过程中使用了对抗性损失和强盗反馈，提出了两个算法以改善后悔性能。

    Oct, 2023

  • 有限时间跨度下连续时间线性二次强化学习的对数损失

    研究连续时间线性二次调节强化学习问题，提出基于连续时间观测和控制的最小二乘算法和基于离散时间观测和分段常数控制的最小二乘算法，并分析了它们的误差界限和实现可能性。

    Jun, 2020

  • 线性马尔科夫决策过程的近最小值最大化强化学习

    本文介绍了一种基于加权线性回归方案的计算有效算法，用于处理线性马尔可夫决策过程的强化学习问题。该算法实现了近似最小化最优遗憾，具有较好的效率，对参数化转换动态有良好的适应性，可以对研究领域进行更细致的探讨。

    Dec, 2022

  • 强化学习的极小后悔界

    本文研究了有限时间 MDPs 中探索的最优性问题，提出了一种基于值迭代的乐观算法，其探索奖励基于下一个状态的经验值的变化量，通过使用集中不等式提高算法的可伸缩性，取得了优于先前最佳算法的研究成果，可以实现与已知理论下限相匹配的后悔度。

    Mar, 2017

  • VO$Q$L: 非线性函数逼近下无模型强化学习的最优遗憾

    该研究旨在通过引入新算法 VOQL，改进理论边界，并实现对线性 MDP 等函数类的回归任务进行计算上的高效且统计优化的可行性。

    Dec, 2022

  • 随机最小二乘值迭代的频率后悔界

    本研究讨论了有限时间内强化学习中的探索和开发困境，并引入了基于乐观初始化的随机最小二乘值迭代算法来解决维度过大或连续状态下的情况。该算法的频率上界误差为 O (d^2 H^2 sqrt (T))，为带有函数逼近的随机探索的首次频率后悔分析。

    Nov, 2019