Oct, 2023

多批次强化学习中的样本效率：对维度相关适应性的需求

PDF
TL;DR探索强化学习中样本效率和适应性之间的关系，通过使用学习框架来研究问题的策略评估和最佳策略识别中，使用 n 个查询的样本有效算法所需的批次数 K 存在最低限制为 Ω(log log d)，并且仅有适应性并不能保证样本有效性。
sample-efficiencyadaptivityreinforcement learningpolicy evaluationlinear function approximation
发现论文，激发创造
  • 一种可证明有效的强化学习样本采集策略

    本文提出了一种解决在线强化学习中勘探 - 利用问题的解耦方法，其中包括一种目标特定的算法和一种负责尽快生成预定样本的目标不可知的样本收集方法，并且利用这种方法在不同领域获得了增强的样本复杂度保证。

    Jul, 2020

  • 可证明高效的高维度分批反馈赌博学习

    我们研究具有批处理反馈的高维多臂上下文强化学习，其中在线交互的 T 步骤被分为 L 批次。针对稀疏或低秩结构的线性情况，我们设计了一种可证明的样本高效算法，使用仅 L = O (log T) 批次在稀疏情况下达到 O (s0^2 log^2 T) 遗憾，并在低秩情况下达到 O (r^2 log^2 T) 遗憾，此处 s0 和 r 分别为稀疏和低秩情况下奖励参数的稀疏度和秩，并省略涉及特征维度的对数因子。此外，我们还进行了合成和真实世界数据的实验证实。

    Nov, 2023

  • 部分动力学知识的高效强化学习

    本文研究在线强化学习的样本复杂性问题，并考虑了有关系统动态的部分知识，提出了一种基于 Q-learning 的算法，能够在具有有限 Markov 决策过程的系统中实现近似最优策略。

    Dec, 2023

  • 使用线性函数逼近的无限时域离线强化学习：维度诅咒与算法

    本文研究线性函数逼近下无穷时域离线强化学习的策略评估的样本复杂性以及分布漂移假设下的算法，提出了算法的样本复杂性的下界，以及样本复杂性的上界。

    Mar, 2021

  • 模型基节流离线强化学习的样本复杂度研究

    本文提出了一种无需进一步探索的离线强化学习方法，通过精心设计的模型实现了最优的样本复杂度，适合处理数据分布转移和数据覆盖范围受限的情况。

    Apr, 2022

  • 自适应子模性中的适应性

    本文提出了半自适应策略，用于最大化自适应单调次模函数，能够实现几乎完美的近似保证，并将自适应次模最大化策略的适应性差距缩小了指数级别。

    Nov, 2019

  • 策略微调：连接高样本效率离线与在线强化学习

    本文研究了在线学习与离线数据集学习两种环境下的样本有效的强化学习，提出了一个新的策略微调问题 —— 在线 RL 中，学习者在某种意义下可以接近最优策略，并在马尔科夫决策过程 (MDP) 中解决了这个问题。我们还提出了一个新的混合离线 / 在线策略微调算法，达到了更好的样本复杂度。

    Jun, 2021

  • 突破样本复杂度障碍，实现后悔优化的无模型强化学习

    通过引入方差缩减策略，设计了一个记忆高效的算法来解决在线序列化强化学习中的勘探和开发之间的平衡问题，该算法的空间复杂度为 $ O (SAH)$，较以前的算法提高了 $S^5A^3$ 倍的效率。

    Oct, 2021

  • 通过多次重复采样，离线强化学习算法在连续控制中具有高样本效率

    该论文提出了一种基于 SMR（样本多次重用）的强化学习方法，通过多次重复使用样本，可以在单次优化循环中更好地利用它们，从而显著提高了基本方法的样本效率。

    May, 2023

  • 增强强化学习的泛化性和可塑性以提高样本效率

    通过对 off-policy RL 算法强化学习算法进行实证分析，我们发现，Sharpness-Aware Minimization 和 reset 机制的联合使用可以提高网络的适应性和计算效率，具有较高的泛化性和可塑性。

    Jun, 2023