Jun, 2021

使用通用价值函数逼近进行强化学习中的随机探索

PDF
TL;DR提出了一种无模型强化学习算法，由于乐观原则和最小二乘价值迭代算法的启示，通过简单地使用谨慎选择的独立同分布的标量噪声扰乱训练数据来推动探索，在估计乐观值函数的同时引入了一种乐观的奖励采样过程，并证明了当数值函数可由函数类 \mathcal {F} 表示时，该算法实现了最坏情况下的遗憾度量边界，并在已知的难度探索任务上进行了实证评估。
发现论文，激发创造
  • 通过随机化价值函数实现泛化和探索

    本文提出了一种新的 RL 算法 RLSVI，针对线性参数化的价值函数进行探索和泛化，相较于 Boltzmann 或 epsilon-greedy 探索，RLSVI 实现了显著的效率提高，并在 tabula rasa 的学习环境下展现出接近最优的表现，研究表明随机化的价值函数是解决增强学习中有效探索和泛化的关键所在。

    Feb, 2014

  • 随机最小二乘值迭代的频率后悔界

    本研究讨论了有限时间内强化学习中的探索和开发困境，并引入了基于乐观初始化的随机最小二乘值迭代算法来解决维度过大或连续状态下的情况。该算法的频率上界误差为 O (d^2 H^2 sqrt (T))，为带有函数逼近的随机探索的首次频率后悔分析。

    Nov, 2019

  • 广义值函数逼近的强化学习：通过受限逃避维数可证明高效方法

    本文提出一种基于一般价值函数逼近的强化学习算法，目的是建立一种没有对环境模型的显式假设的 RL 算法。如果价值函数能使用函数集合 F 近似，该算法将实现后悔界，为实际中使用的算法提供一个框架来证明其有效性。

    May, 2020

  • 带有线性函数逼近的可证明有效强化学习

    本文提出了第一个在基于线性动态和线性奖励时，具有多项式运行时间和样本复杂度的可证明的强化学习算法，该算法可以在不需要模拟器或其他假设的情况下实现，具有快速速度且与状态和动作数量无关。

    Jul, 2019

  • 线性函数逼近下的最小最大优化强化学习

    研究使用线性函数近似的强化学习，其中转移概率和奖励函数是关于特征映射 phi (s,a) 的线性函数。提出了新的计算高效算法 LSVI-UCB+，其在 Bernstein 类型的探索奖励的帮助下，具有常数估计的 L2 误差，并且特别适用于情节不同整体线性马尔可夫决策过程，证明了 LSVI-UCB + 的统计结果并且在理论上是最优秀的。

    Jun, 2022

  • 随机最小二乘值迭代策略的改进最坏情况遗憾界

    研究在强化学习中使用随机值函数来最小化遗憾。提出了随机最小二乘值迭代算法的夹剪变体，其在有限时间节点的马尔科夫决策过程中获得了较好的遗憾上限，并且与现有基于 Thompson Sampling 的遗憾上限的表现持平。

    Oct, 2020

  • 具有线性函数逼近的可证明高效的无模型约束强化学习

    发展第一个无需模拟器的模型自由算法，它在大型系统中实现次线性遗憾和次线性约束违规，并且仅通过特征映射的维度依赖于状态空间。这是通过在标准 LSVI-UCB 算法中引入原始 - 对偶优化和用软最大策略替换标准贪婪选择来实现的。

    Jun, 2022

  • VO$Q$L: 非线性函数逼近下无模型强化学习的最优遗憾

    该研究旨在通过引入新算法 VOQL，改进理论边界，并实现对线性 MDP 等函数类的回归任务进行计算上的高效且统计优化的可行性。

    Dec, 2022

  • 脱机强化学习的悲观非线性最小二乘值迭代

    提出了一种用于非线性函数逼近的离线强化学习方法 —— 悲观非线性最小二乘值迭代 (PNLSVI)，它包括方差加权回归、方差估计子程序和基于悲观值迭代的规划阶段。该方法的遗憾界与函数类的复杂性紧密相关，并在针对线性函数逼近的情况下实现极小化的最优实例相关遗憾。在前期研究基础上，扩展到更一般的框架。

    Oct, 2023

  • 广义线性函数逼近强化学习中的乐观主义

    本论文提出了一种新的基于广义线性函数逼近的回合式强化学习算法，并在乐观闭合假设下分析其性能，证明了其具有更低的复杂度，并且是强化学习中第一个具有统计和计算效率的基于广义线性函数的算法。

    Dec, 2019