Jun, 2024

上下文连续型强化学习：静态对动态遗憾的比较

PDF
TL;DR我们研究了上下文连续性强化学习问题，证明了任何达到次线性静态遗憾的算法都可以扩展到达到次线性动态遗憾，我们提出了一种算法，通过自协调屏障和内点法实现了次线性动态遗憾，并且得出两个关键事实：首先，对于上下文不连续的函数，没有算法可以达到次线性动态遗憾；其次，对于强凸和光滑函数，我们提出的算法达到了最小极大动态遗憾速率的最优值，仅相差对数因子。
contextual continuum banditssub-linear dynamic regretminimax lower boundstrongly convex and smooth functionsself-concordant barriers
发现论文，激发创造
  • 具有平滑遗憾的情境臂控算法：连续行动空间高效学习

    提出了一种平滑遗憾函数的背景自适应算法，可用于大量或连续动作空间下的通用背景自适应问题，并能适应各种光滑度级别的问题，取得了先前优化遗憾函数的最优性保证。

    Jul, 2022

  • 比例响应：用于简单和累积遗憾最小化的情境赌博机算法

    提出了一种新的基于上下文 Bandit 算法的族群，利用 “保序手臂集” 提供每个上下文的一组手臂，覆盖了上下文特定的最优手臂，在简单遗憾最小化和累积遗憾最小化方面都有优异表现。

    Jul, 2023

  • 关于局部隐私线性情境赌博机的最佳后悔

    通过分析均值绝对偏差误差和分层主成分回归，我们展示了一种能够在局部隐私线性情境播放机中实现 O (√T) 累积遗憾上界的解决方案。

    Apr, 2024

  • 非平稳环境下高效应对背景干扰的 Bandit 算法

    本研究开发了多种高效的上下文推断算法，为非平稳环境提供了有效的解决方案，具有动态适应分布变化的能力，同时通过对各种标准回归进行分析，证明了在时间和空间成本上都能达到最优的效果。

    Aug, 2017

  • 凸光滑函数的动态遗憾

    本文提出了一种在线凸优化算法，该算法在非稳态环境中表现出优异的动态后悔表现，通过充分利用流畅性条件，能够在动态后悔中代替对 T 的依赖，而采用问题相关的数量：损失函数的梯度变化、比较序列的累积损失和前两个 term 的最小值，从而使问题的复杂度自适应问题的困难程度，即在简单问题上使界限更紧，同时保证了最坏情况下相同的界限。

    Jul, 2020

  • 具有自适应上下文的因果情境助推

    我们研究了一种因果背景下的情境式赌博问题，学习者基于由其选择的初始干预进行上下文选择。在每一轮开始时，学习者根据其选择的初始行动选择一个随机上下文并获得奖励。通过引入一个与实例相关的因果参数 λ 来实现上界，并且通过使用凸优化来解决赌博探索问题。我们的实验结果验证了我们的理论，并在项目的 GitHub 存储库上发布了我们的代码。

    May, 2024

  • 对抗环境学习的高效算法

    该论文提出了用于对抗环境下上下文相关强化学习问题的第一种 Oracle 有效的亚线性后悔算法，分析了两个场景，其中一个是传递式场景，另一个是小分离器设置

    Feb, 2016

  • 平滑上下文强化学习：连接参数化和不可微性遗憾模式

    该研究讨论了非参数上下文赌博问题，研究了函数的 Hölder 类和光滑度参数 β 之间的插值关系，提出了一种新算法，能够调整到各种光滑度设置，并通过确立匹配的上下限证明其遗憾是速率最优的，从而弥合了现有文献关于参数和非可区分性情境赌徒问题，以及仅使用全局或本地信息的赌徒算法之间的差距，同时也揭示了上下文赌徒问题中的复杂性和遗憾之间关键性的相互影响。

    Sep, 2019

  • $α$- 公平上下文强化学习

    设计了一种高效算法，确保在全信息和强盗反馈设置中几乎达到次线性的遗憾，以解决 alpha-fair contextual bandits 问题。

    Oct, 2023

  • 上下文臂针对高效优化学习

    本文介绍了一种在线学习算法，它使用了一种基于代价敏感分类器的方法，并实现了最优遗憾率，与之前的算法相比，具有指数级别的运行速度优势，并且在反馈延迟方面实现了加性遗憾而非乘性遗憾。

    Jun, 2011