Nov, 2020

带遗忘的广义线性赌博机的自共轭分析

PDF
TL;DR本文提出了一种基于置信度的算法来处理自适应遗忘的自共轭概率线性泊松广义线性臂问题（GLB），并分析了其在突然变化环境中的性能，结果表明该方法有望解决 GLB 中的非平稳性问题。
generalized linear banditsnon-stationary modelsmaximum-likelihood estimatorforgettingconfidence-based algorithm
发现论文，激发创造
  • 非平稳广义线性赌博机算法

    本文提出了两个基于上限置信度算法的广义线性模型及其应用的方法，以解决在非静态环境下的上下文在线学习和塞德利反馈问题，这些结果表明这些算法在一般的情境序列下，并且存在突然变化时具有高概率的上限置信度边界，证明结果的形式为时间 T 内的 d^2/3 G^1/3 T^2/3 阶动态后悔。

    Mar, 2020

  • 广义线性情境赌博机的可证明最优算法

    本文提出了针对广义线性情境臂的上界置信度算法，实现了与众不同的性能，同时我们还分析了更简单的上界置信度算法，在特定情况下证明了该算法具有最优的后悔。

    Feb, 2017

  • 广义线性赌臂机在参数漂移下的遗憾界

    本文探究了广义线性 Bandits 在非稳态环境中的应用，比如参数漂移等问题，提出了一种新增添的算法，基于动态问题的推断，解决了广义线性 Bandits 在非稳态环境下表现出的缺陷，拥有了更优秀的性能表现。通过对于动态问题投影过程的修改，我们设计出了一种具有结构性特点的算法。经过实验证明，我们的算法达到了更好的性能表现。

    Mar, 2021

  • 广义线性背景臂机情境下的有限适应度最优遗憾

    我们在有限适应性的条件下研究广义线性情境赌博问题。我们提出了两种算法分别解决两种普遍存在的有限适应性模型：具有随机情境的批量学习和具有对抗情境的罕见策略切换。对于这些模型，我们建立了本质上紧密的遗憾上界。值得注意的是，在我们获得的上界中，我们成功消除了关键参数 kappa 的依赖性，该参数捕捉到底层奖励模型的非线性。对于我们的批量学习算法 B-GLinCB，使用 Ω(log (log T)) 批次，遗憾的规模为 Φ(O (√T)). 此外，我们建立了我们的罕见切换算法 RS-GLinCB 最多更新策略 Φ(O (log^2 T)) 次，并实现了 Φ(O (√T)) 的遗憾。我们消除广义线性情景赌博对 kappa 的依赖的方法可能具有独立的兴趣。

    Apr, 2024

  • 可伸缩的广义线性臂：在线计算与哈希

    提出了新的可扩展算法来解决广义线性赌博机问题，基于在线计算的新算法（GLOC）将任何在线学习算法转化为 GLB 算法，同时，通过内积搜索，为选择大量臂的情况设计了新算法，并提出了一种快速准确的哈希键计算方法，并进行了实验验证。

    Jun, 2017

  • 非平稳环境下的加权线性赌博机

    该研究利用 D-LinUCB 算法解决了随机线性 bandit 模型中的非平稳线性回归模型，通过使用加权最小二乘估计器进行序列预测，同时提供了理论保证和实验表现。

    Sep, 2019

  • 深度神经线性赌博机：通过似然匹配克服灾难性遗忘

    研究采用神经线性策略模型解决高维度副信息序列决策问题，并设计了可用于线性上下文策略的高效探测机制，提出具有限内存神经线性策略防止该现象的新方法。通过在回归、分类和情感分析等各种真实世界数据集上评估我们的方法，我们得到了鲁棒性和优越性能。

    Jan, 2019

  • 带线性约束的随机赌博机

    本文研究了一个约束的上下文线性赌博机问题，提出了一种算法 OPLB 并证明了其 T 轮后悔度的上限，针对多臂赌博机情况提出了高效算法，同时给出了问题的下限和模拟结果。

    Jun, 2020

  • 具有对数或次线性遗憾的约束上下文臂机算法

    本文对具有预算和时间限制的约束情境赌博问题展开了研究，提出了一种高效算法 UCB-ALP 以实现对其进行近似求解并达到对数遗憾。

    Apr, 2015

  • 线性上下文臂优化中的自适应探索

    我们设计了一种渐近上限最优算法，并充分利用线性结构和精确探索，从而减少了在多种合理情境下的失算，数值结果表明，与其他基准算法相比，我们的方法大大减少了失算。

    Oct, 2019