Oct, 2023

$α$- 公平上下文强化学习

PDF
TL;DR设计了一种高效算法，确保在全信息和强盗反馈设置中几乎达到次线性的遗憾，以解决 alpha-fair contextual bandits 问题。
contextual bandit algorithmssublinear regretfair contextual banditsalpha-fair utility functionefficient algorithm
发现论文，激发创造
  • 学习中的公平性：经典和情境赌博机

    本研究介绍了多臂赌博问题中的公平性概念以及提出了基于 “chained” 置信区间的多臂赌博问题的可证公平算法，并证明了任何公平算法必须具有该算法的时间复杂度，同时也证明了公平和非公平学习之间有强烈的界限。在一般情境中，本研究证明了公平性与 KWIK 学习模型的紧密联系，并提出了一种多项式时间复杂度的可证公平算法来解决线性上下文赌博问题。

    May, 2016

  • 一种高效的含背包限制多臂赌博算法，以及对凹目标问题的扩展

    研究了具有全局背包限制条件下的上下文多臂赌博问题，提出了一种计算效率更高、后悔更低的算法，复杂度与策略空间的大小成对数关系，并将结果推广到一种没有背包限制但目标是任意 Lipschitz 凹函数的变体。

    Jun, 2015

  • 广义线性情境赌博机的可证明最优算法

    本文提出了针对广义线性情境臂的上界置信度算法，实现了与众不同的性能，同时我们还分析了更简单的上界置信度算法，在特定情况下证明了该算法具有最优的后悔。

    Feb, 2017

  • 线性上下文臂优化中的自适应探索

    我们设计了一种渐近上限最优算法，并充分利用线性结构和精确探索，从而减少了在多种合理情境下的失算，数值结果表明，与其他基准算法相比，我们的方法大大减少了失算。

    Oct, 2019

  • 半参数情境赌博机

    该论文研究了半参数上下文赌博机问题，设计了新的算法来解决非线性混淆影响下的奖励估计问题，并通过实证评估证明了该算法的有效性。

    Mar, 2018

  • 比例响应：用于简单和累积遗憾最小化的情境赌博机算法

    提出了一种新的基于上下文 Bandit 算法的族群，利用 “保序手臂集” 提供每个上下文的一组手臂，覆盖了上下文特定的最优手臂，在简单遗憾最小化和累积遗憾最小化方面都有优异表现。

    Jul, 2023

  • 关于局部隐私线性情境赌博机的最佳后悔

    通过分析均值绝对偏差误差和分层主成分回归，我们展示了一种能够在局部隐私线性情境播放机中实现 O (√T) 累积遗憾上界的解决方案。

    Apr, 2024

  • 具有凹形回报的情境赌博机及其在公平排序中的应用

    本文研究了具有凹奖励的情境强化学习 (CBCR) 问题，提出了第一个不限政策空间并能使后悔可控的算法；通过把 CBCR 算法几何地解释为期望奖励的凸集上的优化算法，有了一种从 CBCR 后悔到标量奖励强化学习后悔的新方法， 并给出了在排名和公平性限制下 CBCR 的解法。

    Oct, 2022

  • 线性上下文贪婪算法问题的平滑分析

    本文研究线性情境赌徒算法问题，重新审视贪心算法的性能，通过平滑分析证明，即使情境可以由对手选择，对对手选择进行小干扰就足以实现 “无悔算法”，这表明在线性设置中，“普遍地”（即在稍微扰动的环境中）探索和开发不必在冲突。

    Jan, 2018

  • 上下文连续型强化学习：静态对动态遗憾的比较

    我们研究了上下文连续性强化学习问题，证明了任何达到次线性静态遗憾的算法都可以扩展到达到次线性动态遗憾，我们提出了一种算法，通过自协调屏障和内点法实现了次线性动态遗憾，并且得出两个关键事实：首先，对于上下文不连续的函数，没有算法可以达到次线性动态遗憾；其次，对于强凸和光滑函数，我们提出的算法达到了最小极大动态遗憾速率的最优值，仅相差对数因子。

    Jun, 2024