本文提出了一种分布无关、数据驱动的上置信界（UCB）算法，结合最近发展的重新抽样中位数法（RMM）方法，对称奖励分布的研究中生成近乎最优的后悔边界，即使是重尾分布。

Jun, 2024

本文考虑了分布保持不变，但在未知时间发生改变的非稳态赌徒问题，研究了两种算法：折扣上限置信区间和滑动窗口上限置信区间，并通过 Hoeffding 不等式得到了后者的上界，对不优的赌博机被玩的次数期望进行了上界估计并证明了存在性突然性改变时的遗憾下界，证明了折扣上限置信区间和滑动窗口上限置信区间的匹配下界一致性。

May, 2008

在多臂老虎机游戏中，利用少量样本通过固定置信度水平下的置信区间，提出了一种最初的置信上界算法，该算法使用的样本数量与基于迭代对数定理的下限相比仅相差常数因子，同时使用了一种新的停止时间来避免在其他上置界型算法中观察到的臂联合的界限，从而进一步优化了算法，并通过模拟证明了算法的性能。

Dec, 2013

提出了一种基于 UCB 并具有适当的置信参数平衡风险和过度乐观代价的随机有限臂老虎机算法，同时具有最优问题依赖性遗憾和最坏情况遗憾。

Jul, 2015

该研究提出了高效的非参数性多臂赌博机过程，旨在解决机器学习算法和数据分析中的应用问题，并分析了参数和非参数设置下的 UCB 过程的修改版本及非效率性。

Mar, 2017

提出一种基于元 - UCB 算法的简单方法，用于组合随机赌博算法，提高在劣势环境下的表现，实验结果表明算法可以在多种场景下取得与下界一致的效果，已验证线性赌博和模型选择问题的有效性。

Dec, 2020

本文研究实现条件下的通用上下文医生模型并提出了一种名为 'Upper Counterfactual Confidence Bounds' 的乐观算法，该算法通过在策略空间而非行动空间分析置信区间以及利用潜在功能视角表达在上下文环境中乐观情绪的作用来解决大上下文空间下的问题，并通过引入‘反事实行动偏差’的概念来扩展 UCCB 原理以涵盖无限行动空间。

Jul, 2020

通过对经典多臂赌博机（Stochastic Multi-Armed Bandit）的研究，探讨了两种不同的准则下存在的遗憾下界。同时，研究了 UCB 等算法的变体，证明了这种情况下不可能设计一种自适应的策略来选择最优算法。

Dec, 2011

该研究通过开发一种完全分散的鲁棒上置信界算法，将信息混合步骤与不一致和极端值的截断步骤结合起来，以恢复分散合作多臂赌博中的有效行为，提高正常代理的表现。该算法在遗憾方面不劣于单代理 UCB1 算法，并且所有正常代理的累积遗憾严格优于非合作情况。实验证实了这一框架的优点。

Oct, 2023

我们提出了一种新颖的贝叶斯 - 乐观频率上置信界（BOF-UCB）算法，用于非平稳环境中的随机上下文线性臂问题。该算法通过使用顺序贝叶斯更新来推断未知回归参数的后验分布，并随后采用频率学方法通过最大化后验分布上的预期奖励来计算上置信界（UCB），从而提高了适应性和性能。我们对 BOF-UCB 的性能提供了理论保证，并证明了它在合成数据集和经典控制任务中在强化学习环境中平衡探索和利用方面的有效性。我们的结果表明，BOF-UCB 优于现有方法，成为非平稳环境中顺序决策的有希望解决方案。

Jul, 2023