Jul, 2023

BOF-UCB：一种非平稳上下文多臂赌博机问题的贝叶斯优化频率法算法

PDF
TL;DR我们提出了一种新颖的贝叶斯 - 乐观频率上置信界（BOF-UCB）算法，用于非平稳环境中的随机上下文线性臂问题。该算法通过使用顺序贝叶斯更新来推断未知回归参数的后验分布，并随后采用频率学方法通过最大化后验分布上的预期奖励来计算上置信界（UCB），从而提高了适应性和性能。我们对 BOF-UCB 的性能提供了理论保证，并证明了它在合成数据集和经典控制任务中在强化学习环境中平衡探索和利用方面的有效性。我们的结果表明，BOF-UCB 优于现有方法，成为非平稳环境中顺序决策的有希望解决方案。
bayesian-optimistic frequentist upper confidence boundstochastic contextual linear banditsnon-stationary environmentsbayesian updatesreinforcement learning
发现论文，激发创造
  • 自举式上置信域界限算法

    本文提出了一种基于乘数 bootstrap 的非参数和数据相关的 UCB 算法，并进一步将二阶校正融入该算法，在理论上，我们推导出了在比标准次高斯性更弱的尾部假设下的多臂老虎机的问题相关和问题无关的后悔边界，数值结果表明 UCB 算法相比其他基线在一系列多臂和线性老虎机问题中都有显著的降低后悔

    Jun, 2019

  • 不确定输入下的贝叶斯优化

    本文提出了一种基于高斯过程模型及概率分布的上置信区间算法来解决 Bayesian 优化问题中同时考虑查询结果和查询位置不确定性的问题，并在模拟合成和真实数据等场景中对比了该算法与传统 UCB 算法以及其他考虑输入噪声的 BO 算法的实验表现。

    Feb, 2019

  • 上界逆事实置信区间：一种新的胜算原理用于上下文多臂赌博机

    本文研究实现条件下的通用上下文医生模型并提出了一种名为 'Upper Counterfactual Confidence Bounds' 的乐观算法，该算法通过在策略空间而非行动空间分析置信区间以及利用潜在功能视角表达在上下文环境中乐观情绪的作用来解决大上下文空间下的问题，并通过引入‘反事实行动偏差’的概念来扩展 UCCB 原理以涵盖无限行动空间。

    Jul, 2020

  • 非平稳赌博机问题的置信上限策略

    本文考虑了分布保持不变，但在未知时间发生改变的非稳态赌徒问题，研究了两种算法：折扣上限置信区间和滑动窗口上限置信区间，并通过 Hoeffding 不等式得到了后者的上界，对不优的赌博机被玩的次数期望进行了上界估计并证明了存在性突然性改变时的遗憾下界，证明了折扣上限置信区间和滑动窗口上限置信区间的匹配下界一致性。

    May, 2008

  • AdaLinUCB: 基于上下文的赌博机的机会学习

    本文主要研究机遇上下文奖励问题，提出了自适应上界置信区间算法（AdaLinUCB），并实现了 O（（log T ）^ 2）的问题相关遗憾上界证明。

    Feb, 2019

  • 基于数据驱动的上界置信度在重尾赌博机上的近优遗憾

    本文提出了一种分布无关、数据驱动的上置信界（UCB）算法，结合最近发展的重新抽样中位数法（RMM）方法，对称奖励分布的研究中生成近乎最优的后悔边界，即使是重尾分布。

    Jun, 2024

  • 基于上置信界探索的神经上下文波段算法

    我们提出了一种新算法 NeuralUCB 来解决随机上下文的赌博机问题，它利用了深度神经网络的表达能力并使用基于神经网络的随机特征映射来构建奖励的上界，证明了该算法能够在一些基准测试中具有实际竞争力且能够保证近乎最优的回报保证。

    Nov, 2019

  • 联邦神经遗传算法

    本篇论文介绍了联邦神经 - 上置信区间算法 (FN-UCB)，该算法采用两个上界置信区间 (UCB) 的加权组合，以更好地利用联合设置，并证明了 FN-UCB 的累积后悔和通信轮数上限。

    May, 2022

  • 非平稳环境下的加权线性赌博机

    该研究利用 D-LinUCB 算法解决了随机线性 bandit 模型中的非平稳线性回归模型，通过使用加权最小二乘估计器进行序列预测，同时提供了理论保证和实验表现。

    Sep, 2019

  • 量子贝叶斯优化

    通过引入量子高斯过程 - 置信上界（Q-GP-UCB）算法，我们得到了第一个 BO 算法，可以在经典设置中将遗憾上界压缩为 O（对数多项式级别的 T），明显小于其遗憾下界 Omega（sqrt（T））。

    Oct, 2023