Feb, 2023

超越线性马尔可夫决策过程中的对数切换成本在强化学习中应用

PDF
TL;DR本研究提出了一种新的算法 ELEANOR-LowSwitching，它在低固有贝尔曼误差的线性贝尔曼完成马尔可夫决策过程中实现了近乎最优的遗憾，轻量级的开销只是具有对数期和特征维度的情况，同时， 我们还证明了该算法具有次线性遗憾的所有算法之间成比例的下限，针对一般化的线性函数逼近，该算法可以被进一步利用利用它的 “翻倍技巧”，我们设计了一个样本效率高且开销接近最优的算法。
reinforcement learningexplorationmarkov decision processesalgorithmlinear bellman-complete mdps
发现论文，激发创造
  • 具有 loglog (T) 切换成本的高样本效率强化学习

    本文针对实际强化学习应用中新策略部署的高成本和策略更新次数必须较少的问题，提出了一种基于分阶段探索和自适应策略消除算法，实现了在低换乘成本下的回报 并且在已知的换乘成本中实现了指数级的改善。

    Feb, 2022

  • 线性马尔可夫决策过程低切换成本可证效率算法

    本文着重于线性马尔可夫决策过程（MDP）问题中的低转换成本，并提出了第一个具有低转换成本的线性 MDP 算法，同时通过低转换成本较小而达到了大体积的泛化。

    Jan, 2021

  • 具有切换成本的近优敌对强化学习

    本文尝试解决如何开发一种可证明高效的带有转换代价的对抗性 RL 算法的问题，并提出了两种新颖的降低转换代价的算法，其回归分析证明了它们的近乎最优性能。

    Feb, 2023

  • 低切换成本可证明高效的 Q 学习

    本研究旨在探究具有有限自适应性的 PAC-MDP 算法，我们提出了一种以本地切换成本为度量标准的 Q-Learning with UCB2 exploration 算法，可在 H 步奖励 MDP 中实现次线性遗憾，适用于医学领域等现实应用场景。

    May, 2019

  • 线性马尔科夫决策过程的近最小值最大化强化学习

    本文介绍了一种基于加权线性回归方案的计算有效算法，用于处理线性马尔可夫决策过程的强化学习问题。该算法实现了近似最小化最优遗憾，具有较好的效率，对参数化转换动态有良好的适应性，可以对研究领域进行更细致的探讨。

    Dec, 2022

  • 基于模型的强化学习与多项式逻辑函数逼近

    通过上界置信度算法，为状态转换由多项式逻辑模型给出的 MDP 建立可证明的高效强化学习算法，其信息瓶颈受到未知转换核的限制。实验表明该算法在实践中具有卓越的性能表现.

    Dec, 2022

  • 非定常线性马尔可夫决策过程中的高效学习

    本研究提出了一种基于权重最小二乘值迭代的非稳态线性马尔可夫决策过程（MDP）最优模型 - free 算法 OPT-WLSVI，使用指数权重平滑地遗忘过去的数据，与先前的研究相比解决了遗忘策略上的技术差距，并分析了与最佳策略竞争的总遗憾是有上限的。

    Oct, 2020

  • 线性混合 MDP 的高效无界强化学习算法

    该研究论文提出了第一个计算高效、无横向界限算法，其中采用了加权最小二乘法，以用于未知状态转移动态的估算，并能够应用于异构线性 bandits 中，达到了比已知算法更优的效果。

    May, 2022

  • 在对抗性线性混合 MDPs 中的无限制视野强化学习

    本文通过提出第一个无界时间步长多次对抗强化学习的策略搜索算法，使用方差 - 不确定性感知加权最小二乘估计器和基于占用度量的在线搜索技术，以解决探索和对抗性奖励所带来的挑战，证明算法在全信息反馈下具有 O ((d+log (|S|^2|A|)) sqrt (K)) 的后悔界，其中 d 是未知转移核线性参数化的已知特征映射的维数，K 是剧集数量，|S| 和 |A| 是状态和行为空间的基数。

    May, 2023

  • 多项式逻辑函数近似的强化学习中的随机探索

    我们研究了具有多项式逻辑（MNL）函数逼近的强化学习，其中马尔可夫决策过程（MDPs）的基础转移概率内核由具有状态和动作特性的未知转移核参数化。为了有非齐次状态转移的有限时段的情景，我们提出了具有频率后悔保证的随机探索算法，且具有可证明的高效性。

    May, 2024